Data Science Lab

    JobTracker in Hadoop 1

    MapReduce JobTracker

    MapReduce JobTracker · Version : Hadoop 3.0.0-cdh6.3.2 하둡 V1의 작업 단위는 잡(Job)이며, 하둡 V2의 작업 단위는 애플리케이션(Application)이다. 잡은 맵(Mapper) 태스크와 리듀스(Reduce) 태크스로 나누어지며, 태스크는 어템프트(Attempt) 단위로 실행된다. 맵리듀스 Job들은 JobTracker라는 소프트웨어 데몬의 의해 제어된다. JobTracker들은 마스터 노드에 존재하면서 아래와 같은 역할을 수행한다. · 클라이언트는 맵리듀스 잡을 JobTracker에게 보낸다. · JobTracker는 클러스터의 다른 노드들에게 맵과 리듀스 태스크를 할당한다. · 이 노드들은 TaskTracker라는 소프트웨어 데몬에 의해 각각 실행된..

    SW Engineering/Hadoop 2019.12.31
    이전
    1
    다음
    더보기
    프로필사진

    글로벌 클라우드 업체에서 Solutions Architect로 활동하고 있으며 프로그램 및 데이터베이스를 연구하고 있습니다. 문의사항은 이메일로 연락 주세요. leo.sungwook.kang@gmail.com http://sungwookkang.com

    • 분류 전체보기 (1379)
      • Kang's Life (20)
      • 심리학 (58)
      • SQL Server (819)
        • SQL Server Tip (663)
        • SQL R Service (2)
        • SQL on Azure (21)
        • SQL on Linux (18)
        • SSIS 강좌 (64)
        • SSAS 강좌 (28)
        • SSRS 강좌 (17)
        • SQL 용어 (6)
      • MySQL, MariaDB (96)
      • NoSql, MemoryDB (16)
      • AWS (29)
      • Windows , IIS (49)
      • Linux (11)
      • SW Engineering (264)
        • Hadoop (98)
        • DevOps, SRE (41)
        • 머신러닝 딥러닝 (25)
        • OS Concept (62)
        • Programming (3)
        • DW BI OLAP (8)
        • IT 용어, 일반 (27)
      • 게임 기획자를 위한 통계학 (12)
      • Embedded (3)
      • 스마트팜 일기 (2)

    최근글과 인기글

    • 최근글
    • 인기글

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바