SW Engineering/Hadoop

YARN 메모리 설정

SungWookKang 2020. 1. 14. 00:50
반응형

YARN 메모리 설정

 

·       Version : Hadoop 3.0.0-cdh6.3.2

 

YARN 메모리 설정은 yarn-site.xml 파일에서 변경할 있으며, 노드 매니저의 메모리, CPU 개수와 컨테이너에 있는 최대, 최소 메모리 등을 설정할 있다. 기본값은 yarn-default.xml 참고하면 된다.

yarn.nodemanager.resource.memory-mb

·       클러스터의 노드에서 컨테이너 운영에 설정할 있는 메모리의 총량

·       메모리 최대값 설정시 노드의 OS 운영할 메모리(최소4G) 제외하고 설정

 

yarn.nodemanager.resource.cpu-vcores

·       클러스터의 노드에서 컨테이너 운영에 설정할 있는 CPU 개수

 

yarn.scheduler.maximum-allocation-mb

·       하나의 컨테이너에 할당할 있는 메모리의 최대값

·       기본 = 8GB

 

yarn.scheduler.minimum-allocation-mb

·       하나의 컨테이너에 할당할 있는 메모리의 최소값

·       기본값 = 1GB

 

yarn.nodemanager.vmem-pmem-ratio

·       실제 메모리 대비 가상 메모리 사용 비율

·       mapreduce.map.memory.mb * 설정값의 비율로 사용 가능

·       메모리를 1G 설정하고, 값을 10으로 설정하면 가상메모리를 10G 사용

 

yarn.nodemanager.vmem-check-enabled

·       값이 True 경우 가상 메모리 사용량을 확인하여 메모리 사용량을 초과하면  컨테이너 종료

 

yarn.nodemanager.pmem-check-enabled

·       값이 Ture 경우 물리 메모리 사용량을 확인하여 메모리 사용량을 초과하면 컨테이너 종료

 

 

 

 

2020-01-13 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, YARN, YARN MEMORY, 얀메모리 설정, yarn-site.xml

반응형