Data Science Lab

스크립트 구성 요소 – [데이터 원본] 사용 안녕하세요 강성욱 입니다. (www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [스크립트 구성 요소]에 대해서 알아 보도록 하겠습니다. 1탄 - 데이터 원본으로 이용하기! [스크립트 구성 요소]는 다양한 기능을 수행 할 수 있는 개체 입니다. [제어 흐름]에도 [스크립트 작업]이 있지만 [스트립트 구성 요소]는 원본 데이터를 변경하는 데이터 흐름과 관련된 전문적인 작업을 수행하는 개체 입니다 (1) 스크립트 구성 요소가 [데이터 원본]으로 사용 할 수 있는 경우. 입력 데이터가 플랫파일 연결이나 OLE DB 연결 등과 같이 간단한 설정을 할 수 없는 경우. 기본적으로 제공하는 데이터 원본..

피봇 해제 변환 – 피봇된 데이터를 테이블 형태로 변환 안녕하세요 강성욱 입니다. (www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [피봇 해제 변환]에 대해서 알아 보도록 하겠습니다. [피봇 해제 변환]은 피봇 변환과는 반대로 피봇 형태를 일반 테이블 형태로 출력하는 변환 작업 입니다. [피봇 변환] 관련 링크 http://blog.naver.com/jevida/140160394207 [SSMS]를 실행하여 오늘 실습에 사용할 데이터를 생성 합니다. 지난 [피봇 변환]에서 성별에 대하여 피봇한 내용을 다시 테이블 형태로 출력하도록 합니다. BEGIN TRY drop table SW_UnPIVOT END TRY BEGIN CATC..

피봇 변환 – 데이터 행렬 변환 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [피벗 변환]에 대해서 알아 보도록 하겠습니다. SSIS에서 [피벗 변환]은 테이블 데이터 뿐만 아니라 다양한 데이터 형태의 입력 데이터데 대해서도 피벗 변환을 수행 할 수 있습니다. [SSMS]를 실행하여 오늘 실습에 사용할 데이터를 생성 합니다. 오늘 실습은 성별에 대하여 피봇을 진행 하도록 합니다. BEGIN TRY drop table Member END TRY BEGIN CATCH END CATCH GO create table Member( ID nvarchaR(100), Gender nvarchar(2), Age i..

조회 변환 – 참조 테이블을 이용하여 변환하기 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [조회 변환]에 대해서 알아 보도록 하겠습니다. [조회 변환]은 입력 데이터에 대해 코드 테이블 또는 디멘전 테이블과 같은 참조 테이블을 조회할 때 사용하는 변환 입니다. 조회 변환은 조인 연산(INNER JOIN 또는 OUTER JOIN)과 유사 합니다. [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성 합니다. [제어 흐름] 탭에서 [데이터 흐름 태스크]를 드래그 앤 드롭으로 추가 합니다. [조회 변환]이름을 지정하여 태스크를 생성 합니다. [데이터 흐름]탭에서 그림과 같이 [..

유사 항목 그룹화 – 입력 데이터 중 유사한 항목을 그룹핑하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [유사 항목 그룹화]에 대해서 알아 보도록 하겠습니다. [유사 항목 조회]는 입력 데이터에 대해 참조 테이블의 데이터와 비교하여 유사하다고 판단되는 항목을 출력하는 작업인 반면 [유사 항목 그룹화]는 입력 데이터들 중 서로 유사하다고 판단되는 항목들로 그룹화 시키는 작업 입니다. [유사 항목 조회] 관련 링크 http://blog.naver.com/jevida/140159740992 유사성 임계값에 따라 분류되는 그룹의 수는 달라 집니다. [BIDS]를 실행하여 [Integration Servi..

유사 항목 조회 – 데이터 클렌징 하기 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [유사 항목 조회]에 대해서 알아 보도록 하겠습니다. [유사 항목 조회] SQL Server 2012의 DQS 서비스의 일부 기능 처럼 표준화 되지 않은 데이터에 대해 기준 데이터와 가장 유사한 값을 조회하고 조회된 데이터와의 유사도, 신뢰도를 판단해 주는 작업을 합니다. [유사 항목 조회 변환]은 [용어 추출]과 비슷합니다. [용어 추출]은 [참조 테이블]의 비교 항목과 일치하는 경우에만 출력하지만 [유사 항목 조회] 변환은 정확히 일치 하지 않더라도 유사하다고 판단될 경우 데이터를 출력 합니다. [용어 추출] 관련..

행 개수 – 작업 행의 개수를 출력하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [행 개수]에 대해서 알아 보도록 하겠습니다. 행 개수 작업은 SSIS작업시 단순히 데이터 흐름 경로 상에서 통과하는(=처리되는) 행 수를 사용자가 지정한 변수에 저장하는 역할을 수행 합니다. 따라서 아무런 변화 작업이 없기에 입력된 데이터와 출력된 데이터는 동일 합니다. [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성 합니다. [제어 흐름]탭에서 [데이터 흐름 태스크]를 드래그앤 드롭으로 추가 합니다. [행개수]이름을 지정하여 태스크를 생성합니다. 그리고 [스크립트 태스크]를 드래그앤..

행 샘플링 / 비율 샘플링 – 데이터를 샘플링 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [행 샘플링], [비율 샘플링]에 대해서 알아 보도록 하겠습니다. [행 샘플링] 변환은 입력 데이터에 지정한 행수 만큼 샘플 대상을 선정하는 작업 입니다. [비율 샘플링] 변환은 입력 데이터에 대해 지정한 비율 만큼 대상을 선정하는 작업 입니다. [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성 합니다. [제어 흐름]탭에서 [데이터 흐름 태스크]를 드래그 앤 드롭으로 추가 합니다. [샘플링 변환]이름을 지정하여 태스크를 생성 합니다. [데이터 흐름]탭에서 그림과 같이 [OLE..

용어 조회 – 참조 데이터를 이용하여 빈도를 확인하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [용어 조회]에 대해서 알아 보도록 하겠습니다. [용어 조회 변환]은 입력 데이터에서 미리 정의된 참조 데이터의 용어가 얼마나 나타나는지를 조회하는 작업 입니다. 이 변환 역시 [용어 추출]과 유사하게 영문 데이터에 대해서만 정상적으로 수행되며 입력 데이터는 유니코드 문자형(DT_WSTR), 유니코드 텍스트(DT_NTEXT)만 지원 됩니다. 관련 링크 http://blog.naver.com/jevida/140159227758 [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성..

용어 추출 – 특정 용어를 추출 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [용어 추출]에 대해서 알아 보도록 하겠습니다. 용어 추출은 입력데이터에 대해 단어를 추출하여 사전 형식의 데이터 결과를 만들어 주는 작업 입니다. 입력데이터에서 명사 또는 명사구의 형태로 추출되며 텍스트 입력 데이터에 대해 임계값, 최대 용어 길이등의 옵션을 설정하여 추출이 가능 합니다. 용어 추출 변환의 특징. 관계사와 대명사는 추출하지 않는다. 기본적으로 대/소문자를 구분하지 않는다. 단수/복수를 동일하게 추출한다. 변환은 전용 메모리 공간에 저장된 후 변환을 수행한다. 변환은 내부의 자체 알고리즘과 통계 모델을 ..