Data Science Lab

Hadoop 도전기 2탄 - 하둡 다운로드 및 설치하기 지난 시간에는 하둡을 서비스 하기 위한 OS 설치에 대해서 알아 보았다. 이번 시간에는 하둡 소프트웨어를 다운 받고 설치하는 방법에 대해서 알아 보자. 하둡 다운로드는 다음 사이트에서 받을 수 있다. 다운로드 : http://www.apache.org/dyn/closer.cgi/hadoop/common 다운로드 사이트에서 hadoop-1.0.4.tar.gz 를 다운받도록 하자. (다운로드 시점에서 버전은 바뀔 수 있다.) 십여년전 대학 시절 학교 수업시간에 잠깐 리눅스를 처음 써보고 처음 쓰는 것인데 UI가 상당히 많이 발전 했음을 느낄 수 있었다. 리눅스의 참맛은 VI를 통해서 느낄수 있다고 하는데 나는 리눅스에 대해서 전혀 모르므로 최대한 UI를..

Hadoop 도전기 1탄 - 리눅스(CentOS) 설치하기 최근들어 빅데이터 분석, 소셜 분석이라고 하여 하둡이나 NoSQL을 이용한 데이터 분석이 화두이다. 그래서 도대체 하둡이 어떤것이길래 연일 매체해서 다루는지 너무 궁금해서! 직접 하둡을 하나씩 배워보기로 했다. 물론 학습 방법은 인터넷과 책 등 다양한 자료를 토대로 나만의 방법을 통하여 하나씩 실습하고 정리해 보려고 한다. 하둡의 개발 및 운영 환경인 리눅스 + 하둡 + 자바 에는 전혀 문외한 이므로 포스팅에 많은 시간 및 어려움이 있을꺼라 예상되지만 완주를 목표로 연재를 시작해 보도록 한다. 하둡 환경 구성하기! OS를 설치 하자! 나의 환경은 윈도우의 호스트에 VMwaref를 이용하여 가상화 장비에 CentOS를 설치 하였다. 최대한 실무 환..

Amazon Elastic Block Store (Amazon EBS) 소개 Amazon Elastic Block Store(EBS)는 Amazon EC2 인스턴스에 사용할 블록 레벨 스토리지 볼륨을 제공 한다. EBS 볼륨은 네트워크에 연결되며 EC2에 연결하여 인스턴스 내의 디바이스로 표시 할 수 있다. 특히 데이터베이스, 파일 시스템, 원시 블록 레벨 스토리지에 대한 액세스가 필요한 애플리케이션에 적합하다. [성능] EBS에서는 EC2 인스턴스에 디바이스로 마운트할 수 있는 스토리지 볼륨은 1GB ~ 1TB까지 생성할 수 있으며 여러 볼륨을 동일한 인스턴스에 마운트 할 수 있다. EBS에서 프로비저닝된 IOPS 볼륨을 선택하면 특정 수준의 I/O성능을 프로비저닝 할 수 있다. I/O 집중적인 워크로..

AmazonEC2 (Amazon Elastic Compute Cloud) 소개 Amazon Elastic Compute Cloud는 클라우드에서 컴퓨팅 파워의 규모를 자유 자재로 변경 할 수 있는 서비스이다. 간단한 웹 서비스 인터페이스를 통해 간편하게 필요한 용량을 구성 할 수 있다. [장점] 스케일아웃 : 수 분 내에 용량을 늘리거나 줄일 수 있으며 수백 또는 수천 개의 서버 인스턴스를 동시에 지정 가능. 모든 과정이 웹 서비스 API로 제어되며 요구에 따라 스스로 자동 확장 및 축소 가능. 완전 제어 : 사용자가 인스턴스를 완전히 제어할 수 있는 권한을 보유 유연한 클라우드 호스팅 서비스 : 다양한 인스턴스 유형 및 소프트웨어 패키지 선택 가능. 다른 Amazon Web Services와 유연한 연..

Iaas, Paas, SaaS 개념 클라우드 서비스에 사용되는 as a Service 개념에 대해서 알아 본다. [그림 : https://www.simple-talk.com/cloud/development/a-comprehensive-introduction-to-cloud-computing/] [IaaS (Infrastructure as a Service)] 기존에 제공되는 서버 기반의 호스팅이 클라우드로 제공되는 형태라고 생각 할 수 있다. 가상의 하드웨어상에 OS나 필요 애플리케이션을 설치하여 사용한다. 인프라(서버, 스토리지, 네트워크 등)를 서비스로 제공한다. l 장점 : OS, 애플리케이션 등을 사용자가 직접 설치 하기 때문에 원하는 형태로 사용이 가능하다. l 단점 : 클라우드 서비스가 하드웨..

CnetOS 방화벽 설정 - CentOS 6.4 CentOS에서 방화벽 설정 하는 방법을 알아보자. 터미널 모드를 실행하여 setup 명령어를 실행 한다. # setup 텍스트 모드 설정 유틸리티가 나타나면 [방화벽 설정]을 선택 한다. 방화벽 설정에서 스페이스바를 이용하여 체크를 하면 방화벽이 활성화 되며 체크를 하지 않으면 방화벽이 비활성화 된다. 방화벽 활성화 여부를 선택하고 OK를 선택하면 기존 방화벽을 덮어쓰겠냐는 경고문이 나타난다. [예]를 선택하면 새로운 방화벽 정책이 적용되며 [아니오]를 선택하면 방화벽 설정 메뉴로 돌아간다. 다른 방법으로 모든 방화벽을 제거하기 위한 명령어는 다음과 같다. # iptables -F 방화벽 설정 확인은 다음 명령어를 사용 한다. # iptables -L 강..

CentOS 파일 압축/풀기 - CentOS 6.4 대부분 파일을 내려 받으면 압축이 되어 있을 것이다. 또는 어떤 파일을 전달 할 때 파일의 개수가 많을 때는 용량을 줄이기 위해 압축을 하는 경우도 있지만 하나의 파일로 패킹을 하기 위해 압축을 사용하기도 한다. 압축 종류에 따라 압축을 하는 방법과 해제하는 방법을 알아보자. 다음 예제는 아파치 사이트에서 하둡을 다운로드 하였을 때 압축 파일이다. 터미널 모드에서 압축을 풀어 보도록 하자. # tar zxvf hadoop-1.2.1.tar.gz 압축이 해제 된 것을 확인 할 수 있다. 리눅스 장비에서 파일을 압축하거나 푸는 방법은 다양하다. 압축 방식에 따른 장/단점 및 사용법에 대해서 알아보자. [ZIP] 가장 일반적으로 사용되는 압축 확장자 이다. ..

CentOS 심볼 링크 설정 - CentOS 5.1 l 심볼릭 링크 만들기 : ln [옵션] [파일명] [링크명] 예를 들어 java라는 폴더가 루트에 있을 때 java에 대한 심볼을 만들어 보자. [root@cent4 ~]# ln –s jdk1.7.0_45 java ln에 대한 옵션은 man ln 을 실행하면 도움말을 볼 수 있다. l -b : 대상 파일이 이미 있으면 그것을 백업 한다. l -d : 경로의 하드링크를 허용한다. 시스템 관리자만 가능 l -f : 대상 파일이 이미 있어도 그냥 지운다 l -i : 대상 파일이 이미 있을 때 어떻게 할 것인지 사용자에게 물어본다. l -n : 만약 링크할 파일이 심볼릭 파일이면 ln 명령은 그 심볼릭 대상이 되는 파일을 링크한다. l -s : 심볼릭 링크 ..

CentOS IP 확인 및 변경 - CentOS 5.1 [IP 확인] 현재 설정되어 있는 IP 확인 명령은 ifconfig 이다. [IP 변경] 다음 명령을 실행 한다. /etc/sysconfig/network-scripts/ifcfg-eth0 자동 할당 으로 설정되어 있다면 고정으로 바꾸고 IP를 부여 한다. l BOOTPROTO=static ##ip할당 방식 (static : 고정 IP, dhcp : 동적 IP) l HWADDR=xx:xx:xx:xx:xx:xx ## 맥주소 l BROADCAST= ## 브로드캐스트 주소 l IPADDR= ##아이피주소 l NETMASK= ##넷마스크 주소 l NETWORK= ##네트워크 주소 l GATEWAY= ## 게이트웨이 주소 l ONBOOT=yes ## 부팅시 ..

CentOS 호스트명 (HostName) 변경 - CentOS 5.1 시스템의 호스트명을 변경하여 보자. 터미널에서 명령어를 통한 변경 방법과 설정 파일에서 수정하여 적용하는 방법을 알아보자. 변경된 호스트명이 적용되려면 반드시 시스템을 재시작 해야 한다. 현재 호스트명을 검사하는 명령어로는 hostname 를 입력한다. 현재 호스트의 이름은 Cent4이다. hostname [vi 명령어로 호스트명 변경] vi명령어를 사용할 때에는 대소문자에 주의한다. vi /etc/sysconfig/network vi 명령어로 network 파일의 내용을 읽어서 수정한다. 이때 키보드의 [INSERT] 키를 사용하여 에디터의 내용을 삽입하거나 수정 할 수 있다.(하단의 빨간 박스 부분에 따라 삽입 또는 수정) 기존의 ..