Data Science Lab

    Hive File Merge 1

    Hive 파일 Merge

    Hive 파일 Merge · Version : Hadoop 3.0.0-cdh6.3.2, Hive 하이브에서 매퍼 단독 작업의 경우 파일이 많이 생성될 수 있다. 작은 사이즈의 파일이 많이 생성되면 HDFS에 부담이 될수 있기 때문에 이럴 경우 파일을 Merge 하여 실행하는 것이 좋다. 아래 스크립터는 파일을 Merge 하는 설정이다. -- 맵퍼 단독 작업일 때 머지 set hive.merge.mapfiles=true; -- 맵리듀스 작업일 때 머지 set hive.merge.mapredfiles=true; -- 테즈 작업일 때 머지 set hive.merge.tezfiles=true; --테즈에서 실행하는지 확인 SET hive.execution.engine; --테즈 엔진으로 설정 SET hive.e..

    SW Engineering/Hadoop 2020.02.04
    이전
    1
    다음
    더보기
    프로필사진

    글로벌 클라우드 업체에서 Solutions Architect로 활동하고 있으며 프로그램 및 데이터베이스를 연구하고 있습니다. 문의사항은 이메일로 연락 주세요. leo.sungwook.kang@gmail.com http://sungwookkang.com

    • 분류 전체보기 (1379)
      • Kang's Life (20)
      • 심리학 (58)
      • SQL Server (819)
        • SQL Server Tip (663)
        • SQL R Service (2)
        • SQL on Azure (21)
        • SQL on Linux (18)
        • SSIS 강좌 (64)
        • SSAS 강좌 (28)
        • SSRS 강좌 (17)
        • SQL 용어 (6)
      • MySQL, MariaDB (96)
      • NoSql, MemoryDB (16)
      • AWS (29)
      • Windows , IIS (49)
      • Linux (11)
      • SW Engineering (264)
        • Hadoop (98)
        • DevOps, SRE (41)
        • 머신러닝 딥러닝 (25)
        • OS Concept (62)
        • Programming (3)
        • DW BI OLAP (8)
        • IT 용어, 일반 (27)
      • 게임 기획자를 위한 통계학 (12)
      • Embedded (3)
      • 스마트팜 일기 (2)

    최근글과 인기글

    • 최근글
    • 인기글

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바