MapReduce 메모리 설정

MapReduce 메모리 설정

 

·       Version : Hadoop 3.0.0-cdh6.3.2

 

맵리듀스의 각 메모리 항목에 대한 정의를 알아본다. 맵리듀스의 메모리 설정은 mapred-site.xml, yarn-site.xml 값을 변경하여 사용할 수 있다.

 

[yarn-site.xml]

·       yarn.nodemanager.resource.memory-mb : 노드 매니저가 컨테이너 할당에 사용할 수 있는 메모리 사이즈

·       yarn.scheduler.minimum-allocation-vcores : 컨테이너에 할당 할 수 있는 최소 Vcore 개수

·       yarn-scheduler.maximum-allocation-vcore : 컨테이너에 할당 할 수 있는 최대 Vcore 개수

·       yarn.scheduler.minimum-allocation-mb : 컨테이너에 할당 할 수 있는 최소 memory 용량

·       yarn.scheduler.maximum-allocation-mb : 컨테이너에 할당 할 수 있는 최대 memory 용량

·       yarn.scheduler.increment-allocation-vcores : 컨테이너에 추가 할당 할 수 있는 Vcore 수

·       yarn.scheduler.increment-allocation-mb : 컨테이너에 추가 할당 할 수 memory 용량

 

[mapred-site.xml]

·       yarn.app.mapreduce.am.resource.cpu-vcores : Application Master에 할당 하는 Vcore 개수

·       yarn.app.mapreduce.am.resource.mb : Application Master에 할당 하는 memory 용량

·       mapreduce.map.cpu.vcores : Map 작업에 사용하는 Vcore 개수. 기본값 1.

·       mapreduce.map.memory.mb : Map 작업(컨테이너 생성시)에 사용하는 memory 용량

·       mapreduce.map.java.opts.max.heap : Mapper의 JAVA HEAP SIZE. Xmx 옵션을 이용하여 힙 사이즈를 설정. 맵 컨테이너 메모리(mapreduce.map.memory.mb)의 80%로 설정.

·       mapreduce.reduce.cpu.vcores : Reduce 작업에 사용하는 Vcore 개수.  

·       mapreduce.reduce.memory.mb :  Reduce 작업에 사용하는 memory 용량. 맵 컨테이너 메모리(mapreduce.map.memory.mb)의 2배로 설정하는 것이 일반적.

·       mapreduce.reduce.java.opts : Reducer의 JAVA HEAP SIZE. Xmx 옵션을 이용하여 힙사이즈를 설정. 리듀스 컨테이너 메모리의 80% 설정.

·       mapreduce.task.io.sort.mb : Split/Sort 작업을 위한 예약 메모리

·       mapred.child.java.opts : 맵과 리듀스 태스크의 JVM 실행 옵션, Heap 사이즈 설정. mapreduce.map.java.opts, mapreduce.reduce.java.opts 설정이 이 설정을 오버라이드 하여 설정. 기본 설정은 -Xmx200m.

 

[참고자료]

·       YARN & MRv2 리소스 설정 : https://megalohan.blogspot.com/2017/09/yarn-mrv2.html

·       맵리듀스 메모리 설정 : https://wikidocs.net/23575

 

 

2020-01-07 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, MapReduce, 맵리듀스, 하둡 메모리 설정, 맵리듀스 메모리 설정, mapred-site.xml, yarn-site.xml