YARN 메모리 설정

YARN 메모리 설정

 

·       Version : Hadoop 3.0.0-cdh6.3.2

 

YARN 메모리 설정은 yarn-site.xml 파일에서 변경할 수 있으며, 노드 매니저의 메모리, CPU 개수와 컨테이너에 할 수 있는 최대, 최소 메모리 등을 설정할 수 있다. 기본값은 yarn-default.xml을 참고하면 된다.

yarn.nodemanager.resource.memory-mb

·       클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 메모리의 총량

·       메모리 최대값 설정시 노드의 OS를 운영할 메모리(최소4G)를 제외하고 설정

 

yarn.nodemanager.resource.cpu-vcores

·       클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 CPU의 개수

 

yarn.scheduler.maximum-allocation-mb

·       하나의 컨테이너에 할당할 수 있는 메모리의 최대값

·       기본 값 = 8GB

 

yarn.scheduler.minimum-allocation-mb

·       하나의 컨테이너에 할당할 수 있는 메모리의 최소값

·       기본값 = 1GB

 

yarn.nodemanager.vmem-pmem-ratio

·       실제 메모리 대비 가상 메모리 사용 비율

·       mapreduce.map.memory.mb * 설정값의 비율로 사용 가능

·       메모리를 1G로 설정하고, 이 값을 10으로 설정하면 가상메모리를 10G 사용

 

yarn.nodemanager.vmem-check-enabled

·       이 값이 True일 경우 가상 메모리 사용량을 확인하여 메모리 사용량을 초과하면  컨테이너 종료

 

yarn.nodemanager.pmem-check-enabled

·       이 값이 Ture일 경우 물리 메모리 사용량을 확인하여 메모리 사용량을 초과하면 컨테이너 종료

 

 

 

 

2020-01-13 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, YARN, YARN MEMORY, 얀메모리 설정, yarn-site.xml