HDFS 파일 저장(로컬 업로드)

HDFS 파일 저장(로컬 업로드)

 

·       Version : CDH 6.3.0, Centos 7

 

로컬에 있는 파일을 HDFS에 저장하는 방법에 대해서 알아본다. 시스템에서 hadoop과의 통신은 hadoop라는 명령을 사용한다. 쉘에서 hadoop 라고 입력하면 도움말을 확인할 수 있다.

hadoop

 

 

HDFS의 디렉터리를 조회하는 명령은 hadoop fs -ls 이며 특정 경로을 입력하지 않으면 root의 디렉터리를 조회한다. 특정 디렉터리를 조회할 때에는 hadoop fs -ls /user 와 같이 디렉터리명을 사용한다. 디렉터리 구조는 호스트의 디렉터리 구조와는 연관성이 없다는 것을 명심한다.

hadoop fs -ls hadoop fs -ls /user

 

 

HDFS에서 디렉터리를 생성하는 명령은 fs -mkdir 이다. 아래 스크립트는 HDFS에 /user/root 디렉터리를 생성한다.

hadoop fs -mkdir /user/root   --Permission으로 오류 발생시 아래 스크립트 사용 sudo -u hdfs hadoop fs -mkdir /user/root sudo -u hdfs hadoop fs -chown root /user/root

 

HDFS에 데이터를 저장(업로드) 하는 방법은 fs -put 명령을 사용한다. 아래 예시는 testlog라는 파일을 HDFS의 /user/root라는 HDFS 디렉터리에 업로드 한다. 만약 HDFS에 있는 파일을 로컬로 가져오고 싶을때는 get 명령을 사용한다.

hadoop fs -put testlog /user/root/testlog

 

HDFS에 데이터를 삭제 하는 명령은 fs -rm 이다.

hadoop fs -rm /user/root/testlog

 

 

 

2019-11-13 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, Cloudera Hadoop, CDH, 하둡, 클라우데라 하둡, HDFS, 하둡 파일 저장, HDFS 저장