Data Science Lab

SQL Server 쿼리 처리 아키텍처_병렬 쿼리 처리 병렬 인덱스 작업 Version : SQL Server 2005, 2008, 2008R2, 2012 (Enterprise Edition only) 인덱스를 생성하거나 재생성 하는 작업 또는 클러스터형 인덱스를 삭제하는 작업을 위해 작성된 쿼리 계획에서는 여러 마이크로프로세서가 있는 컴퓨터에서 병렬 다중 스레드 작업을 할 수 있다. SQL Server는 다른 쿼리에 사용하는 것과 동일한 알고리즘을 사용하여 인덱스 작업에 대한 병렬처리 수준(실행할 스레드 수)을 결정한다. 인덱스 작업에 대한 최대 병렬 처리 수준은 max degree of parallelism 서버 구성 옵션을 따른다. SQL Server MAX DOP 설정 : http://sqlmvp..

SQL Server 쿼리 처리 아키텍처_병렬 쿼리 처리 병렬 처리 수준 Version : SQL Server 2005, 2008, 2008R2, 2012 (Enterprise, Developer 버전 지원) SQL Server에서는 병렬처리 실행 또는 인덱스 DDL(데이터 정의 언어)작업의 각각의 인스턴스에 대해 가장 적합한 병렬 처리 수준이 자동으로 검색 된다. 이때 아래와 같은 조건을 기준으로 수행 된다. SMP(대칭적 다중 처리)컴퓨터와 같이 둘 이상의 마이크로프로세서 또는 CPU가 있는 컴퓨터에 SQL Server가 실행 중이어야 한다. SMP 관련 링크 : http://sqlmvp.kr/140188414498 사용할 수 있는 스레드 수가 충분 해야 한다. 쿼리 또는 인덱스 작업을 실행하려면 일정..

SQL Server 쿼리 처리 아키텍처_병렬 쿼리 처리 Version : SQL Server 2005, 2008, 2008R2, 2012 SQL Server에서 CPU를 두 개 이상 사용하는 컴퓨터에서는 운영체제의 다중 스레드로 쿼리나 인덱스 작업을 병렬 수행 할 수 있음으로 작업을 빠르고 효율적으로 완료 할 수 있다. 쿼리를 최적화 하는 동안 SQL Server는 병렬 실행에 적합한 쿼리 인덱스 작업을 찾는다. 이러한 쿼리에 대해 SQL Server는 쿼리 실행 계획에 교환 연산자를 삽입하여 병렬 실행할 쿼리를 준비한다. 교환 연산자는 프로세스 관리, 데이터 재배포 및 흐름 제어를 제공하는 쿼리 실행 계획의 연산자이다. 교환연산자에는 하위 유형으로 Distribute Streams, Repartitio..

SQL Server 쿼리 처리 아키텍처_실행 계획 캐싱 및 다시 사용 Preparing SQL Statements Version : SQL Server 2005, 2008, 2008R2, 2012 SQL Server 관계형 엔진에서는 SQL 문을 실행하기 전에 SQL 명령을 준비할 수 있는 기능을 제공한다. 응용 프로그램에서 SQL문을 여러 번 실행해야 하는 경우에는 데이터베이스 API를 사용하여 다음을 수행 할 수 있다. 프리페어드 쿼리를 한 번 실행한다. 이렇게 하면 SQL문이 실행 계획으로 컴파일 된다. 첫 번째 쿼리 실행 이후 프리페어드 쿼리문을 실행 할 때마다 미리 컴파일된 실행 계획을 사용한다. 이렇게 하면 쿼리를 실행 할 때마다 SQL 문을 다시 컴파일할 필요가 없다. 프리페어드 쿼리 실행은..

SQL Server 쿼리 처리 아키텍처_실행 계획 캐싱 및 다시 사용 강제 매개 변수화 Version : SQL Server 2005, 2008, 2008R2, 2012 데이터베이스의 모든 SELECT, INSERT, UPDATE, DELETE 문이 특정 제한에 따라 매개 변수화되도록 지정하여 SQL Server의 기본 단순 매개 변수화 동작을 무시 할 수 있다. ALTER DATABASE 문에서 PARAMETERIZATION FORCED로 설정하면 강제 매개 변수화를 설정 할 수 있다. --강제 매개변수화 적용 ALTER DATABASE SW_TEST SET PARAMETERIZATION FORCED GO --단순 매개변수화 적용 ALTER DATABASE SW_TEST SET PARAMETERIZAT..

MySQL/MariaDB 아키텍처 – 쿼리 캐시(Query Cache) Version : Mariadb 5.5.4.2-WinX64 MySQL / MariaDB 쿼리 캐시(Query Cache)는 타 DBMS에는 없는 기능을 적절히 설정만 잘한다면 상당한 성능 향상 효과를 얻을 수 있다. 쿼리 캐시는 SQL문장을 캐시하는 것이 아니라 쿼리의 결과를 메모리에 캐시해 두는 기능이다. 쿼리 캐시의 구조는 간단한 키와 값의 쌍으로 관리되는 맵과 같은 데이터 구조로 구현돼 있다. 쿼리 캐시에서 데이터를 내보내기 전에 다음과 같은 과정이 필요하다. 쿼리 캐시는 MySQL의 어떠한 처리보다 앞 단에 위치하며 캐시된 결과를 찾기 위해 쿼리 문장을 분석해서 복잡한 비교 과정을 거치는 것이 아니기 때문에 아주 간단하고 빠르..

텐허2(Tianhe-2) 슈퍼 컴퓨터 세계 1위 중국의 텐허2(Tianhe-2, [Milky Way-2]) 시스템이 제41차 세계 TOP 500 슈퍼컴퓨터 리스트 에서 1위를 차지 했다. 특히 이번 텐허2 시스템은 1997년 이래 인텔 기반으로 만든 시스템이 1위를 차지한 사례이다. 중국 광저우 국립 슈퍼컴퓨터 센터에 구축된 '텐허2' 시스템은 총 시스템 전력 17.8메가와트(MW)에 달하는 아이비브릿지 아키텍처 기반 최신 12코어(24스레드) 인텔 제온 E5-2600 V2 프로세서 3만2천개와 4만 8000개의 인텔 제온 phi 코프로세서로 작동한다. 최고 성능은 54.9 페타플롭스(PFlops)로 지난 2012년 발표된 1위 시스템(Titan) 보다 2배 이상의 성능을 보여 주었으며 TH 익스프레스-..

Alpah 예측 인터페이스 소개 - What Are You Going To Do Next ? 원문 : http://blog.stephenwolfram.com/2012/12/what-are-you-going-to-do-next-introducing-the-predictive-interface/ 예측 인터페이스의 개념은 지금까지 사용자가 했던 행위의 정보를 바탕으로 다음에 수행할 가능성이 있는 무언가에 대해 몇 가지 가능성을 예측 하는 것이다. 알파는 쿼리 스트림과 휴리스틱 알고리즘에서 다른 객체 뿐만 아니라 작업 순서등 수행할 작업에 대해서 많은 선험적 확률을 배울 수 있다. 첫 번째 근사치에 어떤 예측 인터페이스에서 발생 가능한 출력이 다른 일반적인 유형의 특정 속성과 특성을 수백가지로 분류한다. 그리고..

IBM 왓슨의 의사결정 파이프 라인 소개 MRTA Watson HIMSS 자료를 보면 의료분야의 의사결정을 위한 파이프라인이 소개되어 있다. 의료분야 데이터를 입력하고 지식을 구성하는데 relation에 의료표준(SNOMED, ICD,UMLS 등)을 사용하고 제퍼디 쇼와 유사하게 질문을 하면 다양한 진단기록으로 그에 대한 답을 제시 하는 시스템이다. 의사 한 명이 평생 동안 치료 및 연구를 할 수 있는 범위가 제한적일 때 이와 같은 연구 분야는 매우 혁식적인듯 하다. 아래 슬라이드는 IBM에서 제공한 왓슨의 MRTA Watson HIMSS 처리 과정이다. 참고자료 : http://www-01.ibm.com/software/ebusiness/jstart/downloads/MRTAWatsonHIMSS.pdf

IBM Watson과 Wolfram-Alpha의 접근 차이법 다양한 의료 기술과 보고서가 쏟아지는 시대에 의사들이 모든 정보를 파악하고 진단을 한다는 것은 사실상 불가능에 가깝다. 환자마다 특성이 있고 과거의 병력 등 다양한 변수가 존재 하기 때문에 발생 가능한 모든 변수를 예측하여 처방을 한다는 것은 매우 어려운 일이다. 하지만 컴퓨터는 이런 종류의 일에 적합하다. 의사의 의료행위가 환자의 상태에 대한 가설과 그 가설에 의해 상정된 질병에 대해 치료 행위로 규정한다면 이러한 행위는 가설이 결합된 행위라고 할 수 있다. 이때 각 가설을 뒷받침해줄 근거와 그에 대한 확신성이 필요한데 Watson은 Evidence_based Reasoning을 수행하는 시스템으로 이런 종류의 일을 처리하는데 매우 적합한 형..