하둡 환경설정 파일 수정

하둡 환경설정 파일 수정 

-       CnetOS 6.4 

-       Hadoop 1.2.1. 

   

하둡 설치가 완료 되면 환경설정 파일을 사용자 환경에 맞게 수정해서 사용해야 한다. 설정 파일은 하둡 홈디렉터리 하위디렉터리 conf에 저장되어 있다. 

   

파일명	용도
hadoop-env.sh	하둡을 실행하는 쉘 스크립트 파일에서 환경 변수 설정. JDK 경로, 클래스 패스, 데몬 실행 옵션등 다양한 환경변수 설정
masters	보조 네임노드를 실행할 서버를 설정
slaves	데이터노드를 실행할 서버를 설정
core-site.xml	HDFS와 맵리듀스에서 공통적으로 사용할 환경정보 설정
hdfs-site.xml	HDFS에서 사용할 환경 정보 설정.
mapred-site.xml	맵리듀스에서 사용할 환경 정보 설정

   

   

[hadoop-env.sh 설정] 

JDK의 경로를 변경 한다. 

conf] # vi hadoop-env.sh

   

 

   

hadoop-env.sh 에서는 다양한 옵션 설정이 가능하다. 

파라미터	내용
HADOOP_CLASSPATH	맵리듀스 프로그램을 실행 할 때 외부의 라이브러리를 참조하고 싶을 경우 해당 라이브러리 경로를 설정한다
HADOOP_HEAPSIZE	하둡 데몬에서 사용할 메모리 크기. 기본 1GB이다.
HADOOP_SSH_OPTS	하둡 클러스터간 SSH 연결을 할 때 추가로 사용할 옵션 설정
HADOOP_LOG_DIR	하둡 데몬에서 생성되는 로그를 저정 할 디렉터리를 설정. 별도 설정이 없을 경우 하둡 홈 디렉터리의 logs 디렉터리 사용
HADOOP_SLAVES	데이터노드가 등록된 파일 경로를 설정. 기본값은 하둡 홈 디렉토리의 conf에 있는 slaves 파일이다.
HADOOP_MASTER	보조 네임노드가 등록된 파일 경로를 설정. 기본값은 하둡 혹은 홈 디렉터리의 conf에 있는 masters 파일이다.

   

   

[masters 수정] 

Masters 파일에는 보조 네임노드를 실행할 서버를 설정 한다. 2개 이상의 보조 네임노드를 설정 할 수 있으며 한 줄에 하나의 서버를 기재하면 된다. 호스트명 또는 IP로 기재한다. 

conf] # vi masters

   

 

   

   

[slaves 수정] 

데이터노드를 실행할 서버를 설정 한다. 2개 이상의 데이터노드를 설정할 수 있으며 한 줄에 하나의 서버를 기재한다. 호스트명 또는 IP를 기재한다. 

conf] # vi slaves

   

 

   

   

[core=site.xml 수정] 

  fs.default.name은 HDFS의 기본이름을 의미하며 URI형태로 사용된다. 

  hadoop.tmp.dir은 하둡에서 발생하는 임시 데이터를 저장하기 위한 공간이다. 기본값은 root 디렉터리의 하위 디렉터리 tmp 디렉터리에 데이터를 생성하게 된다. 

conf] # vi core-site.xml

   

 

   

   

[hdfs-site.xml 수정] 

  dfs.replication 속성은 HDFS에 저장도리 데이터의 복제본 개수를 의미한다. 1로 설정된다면 가상 분산모드로 하둡을 실행하겟다는 의미가 된다. 

  dfs.http.address 는 네임노드용 웹서버의 주소 값이다. 완전 분산모드로 설치할 경우 반드시 이 속성을 설정해야 한다. 

  dfs.secondary.http.address는 보조네임노드용 웹서버 주소값이다.  

   

conf] # vi hdfs-site.xml

   

 

   

   

[mapred-site.xml 수정] 

mapred.job.tracker 속성을 추가하며 잡 트래커 데몬의 주소를 의미한다. 데이터노드에서 이 주소로 맵리듀스 작업을 요청하게 된다. 

conf] # vi mapred-site.xml

   

 

   

   

네임노드에서 모든 수정 작업이 완료 되었으면 다음과 같이 scp 명령어를 이용하여 모든 데이터노드 서버로 설정 파일을 복사한다. 

(사용자 설정마다 경로는 다를 수 있다.) 

conf] # scp /hadoop-1.2.1/conf/* root@cent2:/hadoop-1.2.1/conf

   

   

   

[참고자료] 

시작하세요 하둡프로그래밍/위키북스 

   

강성욱 / http://sqlmvp.kr