Data Science Lab

    하둡 데이터 복구 1

    HDFS 데이터노드 블록 스캐너 (손상된 블록을 검색하여 수정)

    HDFS 데이터노드 블록 스캐너 (손상된 블록을 검색하여 수정) · Version : HDFS HDFS 에서 데이터를 쓰거나 읽을때 체크섬을 사용하여 데이터 손상을 확인하고 수정한다. 이러한 작업으로 데이터 손상을 감지 할 수 있지만 해당 작업은 데이터를 쓰거나 읽을때만 발생하므로 클라이언트가 데이터를 요청하기 전에는 손상된 부분을 찾는것이 쉽지 않다. 이러한 손상된 부분을 찾기 위해 모든 데이터노드는 블록스캐너를 실행하여 데이터노드에 저장된 모든 블록을 주기적으로 점검한다. 이 작업으로 문제 있는 블록은 클라이언트가 읽기 전에 삭제하거나 수정한다. 데이터 블록 스캐너는 점검할 블록 리스트를 관리하며 체크섬 오류를 찾기 위해 모든 블록들을 점검한다. 스캐너는 데이터노드의 디스크 대역폭을 보존하기 위한 조..

    SW Engineering/Hadoop 2020.09.23
    이전
    1
    다음
    더보기
    프로필사진

    글로벌 클라우드 업체에서 Solutions Architect로 활동하고 있으며 프로그램 및 데이터베이스를 연구하고 있습니다. 문의사항은 이메일로 연락 주세요. leo.sungwook.kang@gmail.com http://sungwookkang.com

    • 분류 전체보기 (1379)
      • Kang's Life (20)
      • 심리학 (58)
      • SQL Server (819)
        • SQL Server Tip (663)
        • SQL R Service (2)
        • SQL on Azure (21)
        • SQL on Linux (18)
        • SSIS 강좌 (64)
        • SSAS 강좌 (28)
        • SSRS 강좌 (17)
        • SQL 용어 (6)
      • MySQL, MariaDB (96)
      • NoSql, MemoryDB (16)
      • AWS (29)
      • Windows , IIS (49)
      • Linux (11)
      • SW Engineering (264)
        • Hadoop (98)
        • DevOps, SRE (41)
        • 머신러닝 딥러닝 (25)
        • OS Concept (62)
        • Programming (3)
        • DW BI OLAP (8)
        • IT 용어, 일반 (27)
      • 게임 기획자를 위한 통계학 (12)
      • Embedded (3)
      • 스마트팜 일기 (2)

    최근글과 인기글

    • 최근글
    • 인기글

    방문자수Total

    • Today :
    • Yesterday :

    Copyright © Kakao Corp. All rights reserved.

    티스토리툴바