SW Engineering/Hadoop

HDFS 파일 저장(로컬 업로드)

SungWookKang 2019. 11. 14. 07:59
반응형

HDFS 파일 저장(로컬 업로드)

 

·       Version : CDH 6.3.0, Centos 7

 

로컬에 있는 파일을 HDFS 저장하는 방법에 대해서 알아본다. 시스템에서 hadoop과의 통신은 hadoop라는 명령을 사용한다. 쉘에서 hadoop 라고 입력하면 도움말을 확인할 있다.

hadoop

 

 

HDFS 디렉터리를 조회하는 명령은 hadoop fs -ls 이며 특정 경로을 입력하지 않으면 root 디렉터리를 조회한다. 특정 디렉터리를 조회할 때에는 hadoop fs -ls /user 같이 디렉터리명을 사용한다. 디렉터리 구조는 호스트의 디렉터리 구조와는 연관성이 없다는 것을 명심한다.

hadoop fs -ls

hadoop fs -ls /user

 

 

HDFS에서 디렉터리를 생성하는 명령은 fs -mkdir 이다. 아래 스크립트는 HDFS /user/root 디렉터리를 생성한다.

hadoop fs -mkdir /user/root

 

--Permission으로 오류 발생시 아래 스크립트 사용

sudo -u hdfs hadoop fs -mkdir /user/root

sudo -u hdfs hadoop fs -chown root /user/root

 

HDFS 데이터를 저장(업로드) 하는 방법은 fs -put 명령을 사용한다. 아래 예시는 testlog라는 파일을 HDFS /user/root라는 HDFS 디렉터리에 업로드 한다. 만약 HDFS 있는 파일을 로컬로 가져오고 싶을때는 get 명령을 사용한다.

hadoop fs -put testlog /user/root/testlog

 

HDFS 데이터를 삭제 하는 명령은 fs -rm 이다.

hadoop fs -rm /user/root/testlog

 

 

 

2019-11-13 / Sungwook Kang / http://sungwookkang.com

 

Hadoop, Cloudera Hadoop, CDH, 하둡, 클라우데라 하둡, HDFS, 하둡 파일 저장, HDFS 저장

반응형

'SW Engineering > Hadoop' 카테고리의 다른 글

Hadoop Name Node  (0) 2019.11.19
HDFS 블록  (0) 2019.11.16
Cloudera Hadoop 6.3.0 Install  (0) 2019.11.14
하둡실행  (0) 2015.07.22
하둡 환경설정 파일 수정  (0) 2015.07.22