Data Science Lab

SMP(Symetric Multiprocessing) vs MPP(Massively Parallel Processing) SMP(Symetric Multiprocessing) - 대칭형 다중처리 시스템. 두 개 또는 그 이상의 프로세서가 한 개의 공유된 메모리를 사용하는 다중 프로세서 컴퓨터 아키텍처 이다. 현재 사용되는 대부분의 다중 프로세서 시스템은 SMP 아키텍처를 사용한다. SMP는 운영체제와 메모리를 공유하는 여러 프로세서가 프로그램을 수행하는 것을 말한다. SMP 프로세서는 메모리와 입출력 버스 미및 데이터 경로를 공유하며 또한 하나의 운영체제가 모든 프로세서를 관리한다. 보통 2개이상의 프로세서로 이루어 진다. SMP 시스템은 작업을 위한 데이터가 메모리의 어느 위치에 있는지 상관없이 작업할..

뮤텍스(Mutex) vs 세마포어(Semaphore) 뮤텍스(Mutex) - 제어되는 섹션에 하나의 쓰레드만을 허용하기 때문에 해당 섹션에 접근하려는 다른 쓰레드들을 강제적으로 막음으로써 첫 번째 스레드가 해당 섹션을 빠져나올 떄 까지 기다린다. 예) Niclas Winquits씨가 2005년에 쓴 화장실 비유 뮤텍스는 화장실에 들어가기 위한 열쇠로 비유할 수 있다. 즉 화장실에 들어갈 수 있는 열쇠를 한 사람이 갖고 있다면 한번에 그 한 사람만 들어 갈 수 있다. 화장실에 들어간 사람이 나오면 줄을 서서 기다리는 다음 사람(대기열-큐)에게 열쇠를 주게 된다. 세마포어(Semaphore) - 공유 리소스에 접근할 수 있는 최대 허용치만큼 동시에 사용자 접근을 할 수 있게 한다. 쓰레드들은 리소스 접근 요..

SARG(검색 제한자) SARG (Search argument) : 옵티마이저가 인덱스를 선택할 수 있도록 해준느 WHERE 절의 검색 조건. 참고 링크 : http://sqlblog.com/blogs/ben_miller/archive/2008/08/29/what-is-a-sarg-exactly-training-classes-and-knowledge-retention.aspx

read-ahead(미리읽기) 미리읽기 : 캐쉬에서 찾지 못한 페이지를 다음에 읽어야 한다고 예측될 때 현재 읽는 스레드와 다른 별도의 스레드에서 다음에 읽어야 할 페이지들을 미리 캐쉬에 올려놓음으로써 캐쉬 적중율(Cash hit ratio)을 높이는 방법이다. MSDN : http://msdn.microsoft.com/ko-kr/library/ms191475.aspx 블로그 : http://sqlsql.tistory.com/10

NDV(Number of Distinct Value) NDV(Number of Distinct Value) 특정 Column에unique 값이 얼마나 존재하는지를 뜻한다. 예를들어 A column에 값이{1, 2, 3, 4, 5, 6, 7, 8, 9}가 존재한다면 NDV는 9가 되는 것이다.

부분 범위 처리 (Partial Range Scan) 부분 범위 처리 (Partial Range Scan) : 어떤 SQL에서 WHERE 절에 주어진 조건을 만족하는 전체범위를 처리하지 않고 운반단위(Array size)까지만 먼저 처리하여 그 결과를 추출시킨 뒤 다음 작업을 계속하겠다는 사용자의 요구가 있을 때까지 잠정적으로 수행을 멈추는 처리 방식. 모든 데이터를 처리하지 않고 일부만 처리하여 결과를 추출하므로 사용자가 아무리 넓은 범위의 처리를 요구하더라도 아주 빠른 수행속도를 보장 받을 수 있다. 부분 범위 처리 조건 : 1. WHERE 절에 GROUP BY 또는 ORDER BY 절이 있으면 부분 범위 처리를 할 수 없다. 2. UNION, MINUS, INTERSECT를 사용한 SQL은 부분 범..

SSAS Backup자동화 하기 - Version : SQL Server 2005, 2008, 2008R2, 2012 SQL Server Analysis Services는 백업을 자동화할 수 있는 방법은 무엇이 있을까? 아쉽게도 SQL Server의 유지관리계획에는 Analysis Services에 대한 백업기능은 제공하지 않는다. 또한 분석 서비스의 백업 기능에서도 자동 백업 기능은 없다. 스크립트를이용하여 자동으로 백업 받는 트릭을 사용해 보자. SSMS를 실행 하여 분석서버에 접속 한다. 백업하려는 데이터베이스를 선택하고 마우스 오른쪽을 클릭한다. [백업]을 선택 한다. 백업 속성이 나타나면 필요한 설정을 한다. 기존 파일을 덮어 쓸 것인지, 백업 파일을 암호화 할 것인지 등을 설정. 백업 창의 상..

MDX 스크립트 MDX 스크립트는 큐브를 통하여 다양한 관점의 다양한 수준에서 데이터 분석하기 위하여 분석 요구 조건에 따라 복잡한 규칙을계산 멤버나 별도의 추가적인 계산을 위한 MDX 표현식이나 구문들의 모음 입니다. 큐브의집계 작업 지정, 계산 멤버, 명명된 집합의 정의 등이 포함됩니다. 또한 큐브의 특정 부분에 대한 값 할당 처리 스크립트를 통해 특정한 셀의 값을 덮어 쓰거나색상과 같은 셀의 속성을 변경 할 수도 있습니다. [CALCUATE] CALCUATE는 큐브를 처리하는 시점에서 하위 수준에서 상위 수준으로 집계 작업을 수행할지 여부를 결정 합니다. 큐브 처리 작업시 집계 설계에 따라 집계한 데이터를 큐브에 저장합니다. 그러나 CALCUATE를 생략하면 큐브처리를 하더라도 데이터를 상위 수준으..

Event log 기록 실패로 인한 SQL Agent Service 시작 실패 SQL Server 2008 R2 Windows Server [문제 발생] SQL Server Agent Service 시작 시 종료되는 현상. (서비스 시작이 실패됨) SQL Server Agent Errorlog 내용. [241] 시작 오류: 오류 보고 시스템을 초기화할 수 없습니다(원인: EventLog 서비스가 시작되지 않았습니다.). [098] SQLServerAgent이(가) 종료됨(정상적으로) [원인] SQL Server Agent 시작 시 윈도우 이벤트로그파일에 오류, 경고, 정보를 로깅하는 API를 호출하는데 이때 호출이 실패하는 경우 초기화 프로세스가 정상적으로 실행하지 못해 SQL Server Agent 서..

TCP Provider: The semaphore timeout period has expired SQL Server 2012 Windows Server 2012R2 (Amazon VM) [문제 발생] 링크드 서버를 사용하여 데이터를 가져오는 시스템에서 비정기적으로 다음과 같은 에러가 발생 Message Executed as user: NT SERVICE\SQLSERVERAGENT. TCP Provider: The semaphore timeout period has expired. [SQLSTATE 07008] (Error 121). The step failed. [원인] 네트워크 속성의 TCP Chimney offload 설정이 Enabled로 설정되어 대용량의 데이터를 전송할 때 네트워크의 부하로 문..