NameNode and Secondary NameNode Heap Memory Size 변경

NameNode and Secondary NameNode Heap Memory Size 변경

 

·       Version : CDH 6.3

 

NameNode를 Master and Slave로 구성하였을때, NameNode간의 힙메모리 설정이 다른 경우 경고가 발생한다. (서비스 장애가 발생하는 것은 아님) Cloudera Hadoop Manager에서는 아래와 같은 메뉴에서 Heap Memory Size를 설정할 수 있다.

 

NameNode의 핵심은 HDFS 의 메타 데이터 (HDFS 블록 정보)를 관리하며, 파일 시스템 레이아웃은 디스크에 유지되며 블록 위치는 단독으로 메모리에 유지된다. 클라이언트가 파일을 조회하면 네임노드는 클라이언트에게 파일에 있는 모든 블록의 위치를 알려준다. 그리고 클라어인트는 데이터 전송을 위해 네임노드와 통신할 필요가 없다. 네임노드에 필요한 메모리는 많으면 많을수록 좋지만, 일반적으로 백만개의 객체(파일, 디렉토리 및 블록)당 1GB 정로로 계산한다. 자세한 내용은 아래 링크를 참고 하여 사용자 서버환경에 적합한 메모리를 산정할 수 있도록 한다.

 

·       Sizing NameNode Heap Memory : https://docs.cloudera.com/documentation/enterprise/5-8-x/topics/admin_nn_memory_config.html

 

 

Cloudera Manager를 실행하여 HDFS 탭으로 이동하여Configuration 메뉴를 선택한다.

 

검색창에서 “Java Heap Size”를 검색하여 Java Heap Size 를 변경한다.

 

 

 

 

2019-11-19 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, 하둡, HDFS, 하둡 파일 저장, NameNode, 네임노드, 보조네임노드, Secondary NameNode, heap memory size, heap memory