Data Science Lab

    SERDE 1

    Hive에서 콤마(,)로 컬럼 구분 및 쿼테이션 내부의 콤마(“, , ”) 파싱 스킵하기

    Hive에서 콤마(,)로 컬럼 구분 및 쿼테이션 내부의 콤마(“, , ”) 파싱 스킵하기 · Version : Hadoop 3.0.0-cdh6.3.2 Hive 테이블에서 데이터를 로드할때, 특정 구분자를 이용해서 파싱하는 경우 파싱의 규칙을 미리 테이블을 생성할때 정의해야 한다. 아래 스크립트는 콤마(,)로 컬럼을 구분하는 데이터에서 파싱을 하지 않아야 하는 콤마(,)의 데이터는 더블 쿼테이션(“”)으로 감싸서 해당 문장이 파싱되지 않도록 하는 규칙이다. 예를 들어 아래와 같은 콤마로 구분된 텍스트 데이터가 있다고 할 때, 컬럼 Col_1, Col_2, Col_3로 파싱한다. col_1,col_2,"col_3(a=3&b=40&c=NOTES&cid=1,10,33)" create table tbl_a ( c..

    SW Engineering/Hadoop 2020.01.03
    이전
    1
    다음
    더보기
    프로필사진

    글로벌 클라우드 업체에서 Solutions Architect로 활동하고 있으며 프로그램 및 데이터베이스를 연구하고 있습니다. 문의사항은 이메일로 연락 주세요. leo.sungwook.kang@gmail.com http://sungwookkang.com

    • 분류 전체보기 (1379)
      • Kang's Life (20)
      • 심리학 (58)
      • SQL Server (819)
        • SQL Server Tip (663)
        • SQL R Service (2)
        • SQL on Azure (21)
        • SQL on Linux (18)
        • SSIS 강좌 (64)
        • SSAS 강좌 (28)
        • SSRS 강좌 (17)
        • SQL 용어 (6)
      • MySQL, MariaDB (96)
      • NoSql, MemoryDB (16)
      • AWS (29)
      • Windows , IIS (49)
      • Linux (11)
      • SW Engineering (264)
        • Hadoop (98)
        • DevOps, SRE (41)
        • 머신러닝 딥러닝 (25)
        • OS Concept (62)
        • Programming (3)
        • DW BI OLAP (8)
        • IT 용어, 일반 (27)
      • 게임 기획자를 위한 통계학 (12)
      • Embedded (3)
      • 스마트팜 일기 (2)

    최근글과 인기글

    • 최근글
    • 인기글

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바