Data Science Lab

    HDFS Block 1

    HDFS 블록

    HDFS 블록 · Version : HDFS HDFS 파일은 지정한 크기의 블록으로 나누어지고, 각 블록은 독립적으로 저장된다. HDFS 블록의 기본 사이즈는 128MB이며 수정이 가능하다. 블록이 큰 이유는 탐색 비용을 최소화 할 수 있기 때문인데, 블록이 크면 하드 디스크에서 블록의 시작점을 탐색하는데 걸리는 시간을 줄일 수 있고, 네트워크를 통해 데이터를 전송하는데 더 많은 시간을 할당할 수 있다. 여러개의 블록으로 구성된 대용량 파일을 전송하는 시간은 디스크 I/O 속도에 크게 영향을 받게 된다. 아래 그림은 64MB로 설정된 HDFS 블록에 160MB를 저장할때 블록 단위로 나누어져 저장된다. 블록 단위로 파일을 나누어 저장하면 파일 하나의 크기가 단일 디스크의 크기보다 크더라도 저장할 수 있다..

    SW Engineering/Hadoop 2019.11.16
    이전
    1
    다음
    더보기
    프로필사진

    글로벌 클라우드 업체에서 Solutions Architect로 활동하고 있으며 프로그램 및 데이터베이스를 연구하고 있습니다. 문의사항은 이메일로 연락 주세요. leo.sungwook.kang@gmail.com http://sungwookkang.com

    • 분류 전체보기 (1379)
      • Kang's Life (20)
      • 심리학 (58)
      • SQL Server (819)
        • SQL Server Tip (663)
        • SQL R Service (2)
        • SQL on Azure (21)
        • SQL on Linux (18)
        • SSIS 강좌 (64)
        • SSAS 강좌 (28)
        • SSRS 강좌 (17)
        • SQL 용어 (6)
      • MySQL, MariaDB (96)
      • NoSql, MemoryDB (16)
      • AWS (29)
      • Windows , IIS (49)
      • Linux (11)
      • SW Engineering (264)
        • Hadoop (98)
        • DevOps, SRE (41)
        • 머신러닝 딥러닝 (25)
        • OS Concept (62)
        • Programming (3)
        • DW BI OLAP (8)
        • IT 용어, 일반 (27)
      • 게임 기획자를 위한 통계학 (12)
      • Embedded (3)
      • 스마트팜 일기 (2)

    최근글과 인기글

    • 최근글
    • 인기글

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바