HDFS 커럽션 파일 확인 · Version : Hadoop 3.0.0-cdh6.3.2 HDFS 운영중 데이터 노드에 문제가 있어 데이터 블록이 손실(정확히는 파일은 있으나 관리할 수 없는 상태)이 발생할 수 있다. 이러한 경우는 커럽트(Corrupt) 상태라 한다. 일반적으로 HDFS는 3중화 복제를 사용하기 때문에, 하트비트를 통해 데이터 블록에 문제가 발생하면 자동으로 감지하고 다른 데이터 노드의 복제본을 사용하여 복구를 진행 한다. 하지만 모든 블록에 문제가 발생하여 복구를 하지 못하는 경우 커럽트 상태가 된다. 커럽트 상태의 파일은 삭제하고 원본을 다시 업로드하여 복구해야 한다. 아래 스크립트는 현재 커럽트 블록이 있는지 확인할 수 있는 명령이다. 예제에는 hdfs 내부의 /user/data/ ..