Data Science Lab

YARN Node Labels (노드 레이블) · Version : Hadoop 3.0.0-cdh6.3.2 YARN Labels는 서버를 특성에 맞게 구분하여 작업을 처리하게 하는 기능을 제공한다. 예를들어 클러스를 구축한 서버들의 하드웨어 사양이 다르다고 할때, IO 요청이 많은 작업은 SSD나 빠른 디스크를 가지고 있는 서버에서 작업하고, 연산이 많은 작업은 CPU 코어가 높거나, GPU 파워를 사용할 수 있는 서버에서 작업을 처리하면 더 효율적이다. 하지만 기존의 클러스터 방식은 이러한 특징에 따른 처리를 구분할 수 없이, 여유가 있는 서버에서 작업을 처리하기 때문에 YARN Node Labels를 사용하면 서버에 따라 작업을 구분할 수 있어 효율적이다. YARN Node Labels는 아래와 같은..

YARN 메모리 설정 · Version : Hadoop 3.0.0-cdh6.3.2 YARN 메모리 설정은 yarn-site.xml 파일에서 변경할 수 있으며, 노드 매니저의 메모리, CPU 개수와 컨테이너에 할 수 있는 최대, 최소 메모리 등을 설정할 수 있다. 기본값은 yarn-default.xml을 참고하면 된다. yarn.nodemanager.resource.memory-mb · 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 메모리의 총량 · 메모리 최대값 설정시 노드의 OS를 운영할 메모리(최소4G)를 제외하고 설정 yarn.nodemanager.resource.cpu-vcores · 클러스터의 각 노드에서 컨테이너 운영에 설정할 수 있는 CPU의 개수 yarn.scheduler.maxi..

MapReduce 메모리 부족으로 인한 쿼리 실패 - FAILED Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask · Version : Hadoop 3.0.0-cdh6.3.2, Hive Hue에서 Hive 로 결과셋이 큰 쿼리를 실행하였을때 아래와 같은 오류가 발생하였다. Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 위의 에러로그는 실제 에러로그가 아니기 때문에 문제를 해결하기 위해서는 실제 에러로그를 살펴보아야 한다. 필자의 경우 Ha..

Cloudera Hadoop 6.3.0 Install · Version : CDH 6.3.0, Centos 7 Cloudera Hadoop (CDH)를 사용하여 Hadoop 환경을 구성하는 방법에 대해서 알아본다. 이번 실습에서는 실제 운영환경과 유사한 환경을 구성하기 위하여 로컬 컴퓨터에 가상화 머신을 사용하여 Master Node 1, Data Node 4개의 Multi Node를 구성한다. 기본적인 가상화 환경 설정은 이번 포스트에서는 다루지 않는다. Node OS RAM DISK ETC HD-Master Centos 7 5GB 50GB Open JDK 1.8 HD-Node1 Centos 7 2GB 20GB Open JDK 1.8 HD-Node2 Centos 7 2GB 20GB Open JDK 1...