HDFS Safe 모드

HDFS Safe 모드

 

·       Version : Hadoop 3.0.0-cdh6.3.2

 

HDFS의 세이프(safe) 모드는 서버 메인터넌스를 위해 사용자가 임의로 설정할 수 있으며, 네임노드에 장애가 발생하여 정상적인 동작을 하지 않을때 자동으로 세이프 모드로 전환된다. 세이프 모드는  읽기 전용 상태가 되어 데이터 추가 및 수정이 불가능하며 복제기능이 중단된다.

 

아래 스크립트는 세이프모드의 상태를 확인,  세이프모드 ON/OFF 대한 명령어 이다.

--Safe 모드인지 확인 hdfs dfsadmin -safemode get   --Safe 모드 ON hdfs dfsadmin -safemode enter   --Safe 모드 OFF hdfs dfsadmin -safemode leave

 

HDFS가 세이프모드 일때, 데이터를 입력하면 아래와 같은 오류를 출력한다.

put: Cannot create file/user/sample.txt._COPYING_. Name node is in safe mode.

 

HDFS 운영중 네임노드 장애로 인한 세이프 모드일 경우 네임노드 자체 문제와 데이터 노드 문제일 가능성이 크다. 이 경우 아래 순서로 문제 상태를 해결 할 수 있도록 한다.

1.       fsck 명령으로 커럽트 블록의 무결성 체크

hdfs fsck /user/data/

 

2.       Report 명령으로 각 데이터 노드의 상태를 확인

hdfs dfsadmin -report

 

3.       상황에 따른 장애 조치

 

 

[참고자료]

·       https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Safemode

·       http://hadooptutorial.info/safe-mode-in-hadoop/

 

 

 

 

2019-12-10 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, HDFS safemode, HDFS 세이프 모드, dfsadmin