Data Science Lab

[vagrant] vagrantfile 을 활용한 가상머신 N대를 한번에 생성하기 l Vagrant Vagrant(베이그랜트)는 Hashicorp(하시코프)에서 개발한 가상머신 관리를 자동화 도구로 루비 기반의 DSL로 작성할 수 있으며, 가상머신 생성 및 관리, 환경 구축을 위한 프로비저닝까지 관리할 수 있다. 이번 포트스에서는 vagrant에서 가상머신을 생성할 때 참고하는 vagrantfile에 대해서 알아본다. l vagrant를 활용한 개발 환경 구축하기 : https://sungwookkang.com/1523 l vagrant로 가상머신 생성하기 : https://sungwookkang.com/1524 vagrantfile은 vagrant init 명령을 실행하면 생성되는 설정 파일이다. 물론..

[vagrant] vagrant로 가상머신 생성하기 l Vagrant Vagrant(베이그랜트)는 Hashicorp(하시코프)에서 개발한 가상머신 관리를 자동화 도구로 루비 기반의 DSL로 작성할 수 있으며, 가상머신 생성 및 관리, 환경 구축을 위한 프로비저닝까지 관리할 수 있다. l vagrant를 활용한 개발 환경 구축하기 : https://sungwookkang.com/1523 이번 포트스에서는 vagrant로 가상머신을 생성하는 방법을 설명한다. Vagrant는 사용자가 수작업으로 진행하는 작업을 설정 파일을 통해서 자동으로 생성 및 관리를 도와주는 도구이지 vagrant 자체가 가상머신의 역할을 하는 것은 아니다. 따라서 Vagrant를 사용하여 가상머신을 생성하기 위해서는 Virtualbox..

[vagrant] vagrant를 활용한 개발 환경 구축하기 l Vagrant with mac brew install Vagrant(베이그랜트)는 Hashicorp(하시코프)에서 개발한 가상머신 관리를 자동화 도구로 루비 기반의 DSL로 작성할 수 있으며, 가상머신 생성 및 관리, 환경 구축을 위한 프로비저닝까지 관리할 수 있다. 또한 가상 환경에 대한 설정을 관리할 수 있어 동일한 환경을 구성할 수 있다. 이번 포스트에서는 MAC 환경에서 vagrant를 설치하는 방법에 대해서 알아본다. [Homebrew로 설치하기] Homebrew로 vagrant를 설치하는 방법은 매우 간단하다. Homebrew 명령어 하나로 쉽게 설치 및 삭제가 가능하다. 설치 과정에서 현재 사용자의 암호를 입력해야 한다. bre..

Split Brain 스플릿 브레인 (Split Brain)은 클러스터로 구성된 두 시스템간의 네트워크가 일시적으로 동시에 단절되거나 기타 시스템상의 이유로, 클러스터 상의 모든 노드들이 각자 자신이 Primary라고 인식하게 되는 상황을 뜻한다. 관제 시스템에 의해 하트비트(Heartbeat)등으로 Alive 유무가 체크되는 서비스가 있다고 가정했을때, 하트비트 통신이 단절되어 서비스 클러스터가 장애 상태라고 인식하고 서비스를 동시에 구동하는 경우, 또는 독립적인 두 개의 시스템이 비정상적으로 구성되어 서로가 Primary라고 믿게되는 현상을 모두 포함한다. 스플릿 브레인 현상이 발생하면, 각 노드가 동시에 Primary가 되면서 이중 가동 현상이 발생한다. 이렇게 이중으로 가동되면서 각 노드들은 동시..

B-tree vs Log-Structured Merge-Tree 데이터베이스에서 일반적으로 많이 사용되는 데이터 구조는 B-Tree와 LSM(Log-Structured Merged-Tree)이다. B-Tree B-Tree는 데이터베이스에 널리사용되며, B-Tree 인덱싱 구조를 사용하면 데이터가 고정 크기 페이지 세그먼트로 디스크에 기록된다. 이러한 페이지 세그먼트의 크기느 약4KB (DMBS마다 다를 수 있음) 이며 키별로 정렬된 Key-Value를 가지고 있다. 단일 B-Tree노드는 페이지 범위에 대한 참조가 있는 배열과 같다. 배열의 최대 참조 수를 “branching factor” 한다. 각 페이지 범위는 다른 페이지 범위를 참조하는 또 다른 B-Tree 노드이다. 결국 리프수준에서 단일 페이지..

작업 관리자에서 디스크 성능 정보 표시하기 Windows Server 2012, 2012 R2 Windows Server 2012, 2012 R2 작업 관리자를 실행하였을 때 디스크 정보가 보이지 않는 경우가 있다. 작업 관리자에서 디스크 정보를 표시하기 위해서는 커맨드 명령 또는 파워쉘을 이용하여 간단한 명령으로 디스크 정보를 나타내도록 수정할 수 있다. Diskperf -Y 커맨드 명령을 완료하고 작업 관리자를 다시 실행해 보면 디스크 정보가 표시되는 것을 확인할 수 있다. 2016-02-02 / 강성욱 / http://sqlmvp.kr 작업 관리자, 디스크 정보, Diskperf, Task Manager, Disk Performance, Windows, Windows 2012, Windows Cou..

Amazon Elastic Block Store (Amazon EBS) 소개 Amazon Elastic Block Store(EBS)는 Amazon EC2 인스턴스에 사용할 블록 레벨 스토리지 볼륨을 제공 한다. EBS 볼륨은 네트워크에 연결되며 EC2에 연결하여 인스턴스 내의 디바이스로 표시 할 수 있다. 특히 데이터베이스, 파일 시스템, 원시 블록 레벨 스토리지에 대한 액세스가 필요한 애플리케이션에 적합하다. [성능] EBS에서는 EC2 인스턴스에 디바이스로 마운트할 수 있는 스토리지 볼륨은 1GB ~ 1TB까지 생성할 수 있으며 여러 볼륨을 동일한 인스턴스에 마운트 할 수 있다. EBS에서 프로비저닝된 IOPS 볼륨을 선택하면 특정 수준의 I/O성능을 프로비저닝 할 수 있다. I/O 집중적인 워크로..

AmazonEC2 (Amazon Elastic Compute Cloud) 소개 Amazon Elastic Compute Cloud는 클라우드에서 컴퓨팅 파워의 규모를 자유 자재로 변경 할 수 있는 서비스이다. 간단한 웹 서비스 인터페이스를 통해 간편하게 필요한 용량을 구성 할 수 있다. [장점] 스케일아웃 : 수 분 내에 용량을 늘리거나 줄일 수 있으며 수백 또는 수천 개의 서버 인스턴스를 동시에 지정 가능. 모든 과정이 웹 서비스 API로 제어되며 요구에 따라 스스로 자동 확장 및 축소 가능. 완전 제어 : 사용자가 인스턴스를 완전히 제어할 수 있는 권한을 보유 유연한 클라우드 호스팅 서비스 : 다양한 인스턴스 유형 및 소프트웨어 패키지 선택 가능. 다른 Amazon Web Services와 유연한 연..

Iaas, Paas, SaaS 개념 클라우드 서비스에 사용되는 as a Service 개념에 대해서 알아 본다. [그림 : https://www.simple-talk.com/cloud/development/a-comprehensive-introduction-to-cloud-computing/] [IaaS (Infrastructure as a Service)] 기존에 제공되는 서버 기반의 호스팅이 클라우드로 제공되는 형태라고 생각 할 수 있다. 가상의 하드웨어상에 OS나 필요 애플리케이션을 설치하여 사용한다. 인프라(서버, 스토리지, 네트워크 등)를 서비스로 제공한다. l 장점 : OS, 애플리케이션 등을 사용자가 직접 설치 하기 때문에 원하는 형태로 사용이 가능하다. l 단점 : 클라우드 서비스가 하드웨..

메모리 사용량 확인 툴 – RAMMAP 현재 어떤 프로그램(프로세스)이 메모리를 점유하여 사용하고 있을까? 간단히 아래 그림과 같이 작업 관리자를 통해서 확인 할 수 있다. 작업 관리자에서 프로세스 탭을 클릭하면 현재 프로세스별로 사용된 메모리를 확인 할 수 있다. 프로세스가 사용하는 메모리 외에 숨겨진 메모리 사용량도 알 수 있는 방법은 없을까? Microsoft 에서 제공하는 RAMMAP 이란 툴을 사용하여 메모리 사용량을 확인해 보자. 다운로드 링크 : http://technet.microsoft.com/en-us/sysinternals/ff700229 RAMMAP은 RAM이 캐시나 커널 및 장치 드라이버에 할당된 메모리 등 무릴 메모리 사용현황을 보여 준다. 탭 별로 다양한 정보를 확인 할 수 있..