Data Science Lab

Process Monitor - 어떤 프로세스가 어떤 파일을 사용할까? 내 컴퓨터는 왜 이렇게 느린거야? 게임이 왜 자꾸 중지 되는거지? 프로그램이 자꾸 죽어? 나도 모르게 프로그램이 실행되고 있다? 내 PC도 좀비 PC로 활용되는건 아닐까? 이처럼 많은 사용자들은 지금 내 컴퓨터에서는 어떤 프로그램(프로세스) 들이 실행 되고 있는지 매우 궁금해 할 것이다. 가장 기본적인 방법으로는 윈도우에서 제공하는 작업 관리자의 프로세스 탭에서 현재 실행되고 있는 프로세스들을 확인 할 수 있다. [모든 사용자의 프로세스 표시]를 선택하면 현재 실행되고 있는 모든 프로세스를 확인 할 수있다. 이 정보 만으로는 무엇인가 좀 부족 한듯 하다. 나는 좀더 프로세스의 자세한 정보를 확인하고 싶다! 어떻게 해야 할까? 우선 아..

빅데이터사례_구글의 검색 키워드로 독감 트렌드 예측 2013년 1월 초. 미국에서는 독감으로 인한 사망자가 100명을 넘어 섰다. 미국 질병 통게 예방 센터(CDC)에 따르면 122개 도시의 사망자를 조사한 결과 전체 사망자 중 7.3%가 감기나 폐렴으로 숨졌으며 이는 독감 유행 단계에 접어들었음을 의미한다고 발표 했다. 그런데 CDC가 바룦한 독감 보고서보다 2주 먼저 독감 바이러스의 확산을 예측한 곳이 있었다. 구글의 '독감 트렌드'다. 구글이 처음으로 독감 트렌드를 분석해 [네이처(Nature)]지에 기고한 땐느 2009년 2월로 전 세계 구글 이용자가 검색한 키워드의 빈도를 파악해 독감 유행 수준을 감지하는 방법을 활용 했다. 키워드는 주로 독감과 관련된 "독감증상", "독감 치료" 등으로 실제 ..

빅데이터 사례 – VOLVO RFID 센서로 차랑 결함 사전 발견 볼자 자동차(VOLVO)는 고객의 자동차에 내장된 RFID 센서를 통해 부품의 상태, 안정도 등 다양한 정보를 실시간으로 수집한다. 이를 통해 차량 겷ㄹ람 정보, 운전자 요구사항, 그리고 생산과정에서 발견하기 어려운 다양한 결함까지 찾아 빠르게 대응할 수 있다. 사내 고객관계관리시스템(CRM), 딜러, 공장 등으로 부터 수집된 테라바이트(TB)급 데이터와 통합해 분석함으로써 자동차 결함 문제 등을 사전에 파악하고 있다. 결과적으로 50만대 이상 생산한 이후에 발견할 수 있는 결함을 1000대 출고만으로 파악함으로써 비용 절감 및 제품의 질을 높일 수 있게 되었다. [관련기사] http://www.industryweek.com/emergin..

빅데이터 사례 – 온타리오 병원의 미숙아 감염 예방 임신부 14명 가운데 1명꼴로 미숙아를 낳고 미숙아 4명 가운데 3명이 숨질 정도로 미숙아는 질병 감염에 너무 취약하다. 더군다나 육안 진과 차트 정보에 의존하는 방식은 감염 후 사실을 알 수 있기 때문에 치료시기를 놓칠 위험이 있다. 미숙아실에 설치된 각종 모니터링 장비에서는 인큐베이터 미숙아들의 혈압, 체온, 심전도와 혈중 산소포화도등 수 많은 생리학 데이터가 발생한다. 하지만 그런 정보는 버려지고 진찰 당시의 상황만 차트에 기록되어 사용되어 왔다. 차트에 기록된 정보만으로는 감염 여부를 판단하기에 부족하였다. 온타리오 병원은 IBM의 빅데이터 기술을 이용하여 버려지는 9000만건의 계측 데이터를 실시간으로 수집 - 저장 - 분석 함으로써 의료진 보..

빅데이터 사례 – 유유제약 멍 치료제 유유제약은 멍 치료제를 출시하고 어린이를 타깃으로 마케팅을 진행 하였다. 그러나 그 동안 상대해온 고객이 병원과 약국에 한정되어 있었기 때문에 일반 소비자의 니즈를 파악한 경험이 없었다. 고객의 숨겨진 니즈를 파악하기 위해 소셜미디어를 통한 빅데이터분석을 하였고 결과 매출이 50% 이상 성장 하였다. 인터넷에서 "멍 빨리 없애는 법"을 검색하면 연관검색어가 달걀, 쇠고기였다. 경쟁사 제품은 민간요법의 절반에도 미치지 못했다. 소비자는 멍 치료 연고가 있다는 생각조차 하지 못한 채 민간요법에 의존하고 있다는 것을 발견하게 된다. 이를 통해 시장 선점 계획을 세우고 소셜 미디어에 올라온 글들을 분석 했다. 그결과 멍으로 고생하는 여성의 시장이 어린이 시장의 4배를 차지한..

신경망 분석(Neural Network) [정의] 인간의 뇌를 통해 문제를 처리하는 방법과 비슷한 방법으로 문제를 해결하기 위해 컴퓨터에서 채택하고 있는 구조. 인간의 뇌가 기본 구조 조직인 뉴런(neuron)과 뉴런이 연결되어 일을 처리하는 것처럼 수학적 모델로서의 뉴런이 상호 연결되어 네트워크를 형성할 때 이를 신경망이라 한다. 생물학적인 신경망과 구분하여 인공 신경망(artificial neural network)이라고도 하며 신경망은 각 뉴런이 독립적으로 동작하는 처리기의 역할을 하기 때문에 병렬처리 (parallelism)가 뛰어나고 많은 연결선에 정보가 분산되어 있기 때문에 일부 뉴런에 문제가 발생하더라도 전체 시스템에 큰 영향을 주지 않는 결함 허용(fault tolerance) 능력이 있다..

Naive Bayes Classifier [정의] Bayes' Theorem에 근거한 분류법이며 naïve Bayes 알고리즘은 문서를 통계적 기법을 이용하여 클래스를 규정하는 알고리즘이다. Naive Bayes라는 이름의 Naïve는 이 알고리즘이 Bayes 기술을 사용하지만 있을 수 있는 종속성을 고려하지 않는 다는 것이다. 이 알고리즘은 입력 열과 예측 가능한 열 간의 관계를 검색하는 마이닝 모델을 신속하게 생성하는데 유용하다. 이 알고리즘을 사용하여 초기 데이터 탐색을 수행한 후 나중에 그 결과를 적용하여 보다 복잡하고 정확한 다른 알고리즘으로 추가 마이닝 모델을 만들 수 있다. [활용 사례] 대표적인 사용 사례가 스팸 메일 필터에 사용한다. 이전에 스팸으로 처리한 문서를 기반으로 앞으로 들어오는..

군집분석(Cluster Analysis) 군집분석은 개인 또는 여러 개체 중에서 유사한 속성을 지닌 대상을 몇 개의 집단으로 그룹화 한 다음 각 집단의 성격을 파악함으로써 데이터 전체의 구조에 대해 이해하고자 하는 탐색적 분석 기법이다. N개의 관찰치를 대상으로 p개의 변수를 측정 했을 때 관측한 p개의 변수 값을 이용하여 N개의 관찰치 사이의 유사성 또는 비유사성의 정도를 측정하여 관찰치들을 가까운 순서대로 군집화 한다. 군집분석은 속성이 비슷한 잠재 고객들끼리 그룹화 하여 시장을 세분화하는 방법에 자주 활용되고 있으며 나이, 학력, 소득 제품, 매장 등 유사한 대상끼리 집단으로 묶고자 하는 경우 사용할 수 있다. 군집분석의 목적은 관찰치들의 유사성을 측정한 후에 가까운 순서대로 관찰치들을 군집화 하는..

의사결정나무(Decision Tree) 의사결정나무(Decision Tree)는 의사결정규칙(Decision Rule)을 나무구조로 도표화하여 분류와 예측을 수행하는 분석 방법이다. 분류 또는 예측의 과정이 나무구조에 의한 추론규칙에 의해서 표현되기 때문에 다른 방법(신경망, 판별분석, 회귀분석 등)에 비하여 연구자가 그 과정을 쉽게 이해하고 설명할 수 있다는 장점을 가지고 있다. 장점단점해석의 용이성 교호효과의 해석 비모수적 모형비연속성 선형성 또는 주효과의 결여 비안정성 데이터마이닝에서의 의사결정나무는 탐색과 모형화라는 두 가지 특성을 모두 가지고 있다고 할 수 있다. 판별분석 또는 회귀분석등과 같은 모수적 모형을 분석하기 위하여 사전에 이상치를 검색하거나 분석에 필요한 변수 또는 모형에 포함되어야 ..

로지스틱 회귀분석(Logistic regression) 로지스틱 회귀분석은 분석하고자 하는 대상들이 두 집단 혹은 그 이상의 집단(다변수 데이터)으로 나누어진 경우에 개별 관측치들이 어느 집단으로 분류될 수 있는가를 분석하고 이를 예측하는 모형을 개발하는데 사용되는 대표적인 통계 알고리즘 이다. 로지스틱 회귀분석은 분석 목적이나 절차에 있어서는 일반 회귀분석과 유사하나 종속 변수가 명목척도로 측정된 범주형 질적 변수인 경우에 사용한다는 점에서 일반 회귀분석과 차이가 있다. 로지스틱 회귀분석은 판별분석과는 달리 예측변수에 범주형 변수를 투입 할 수 있는 장점이 있다.가장 일반적인 예로 로지스틱 회귀에서는 성별을 매우 자연스럽게 예측 변수로 포함할 수 있다. 종속 변수가 셋 이상인 경우에는 다항 로지스틱 분..