Data Science Lab

유사 항목 조회 – 데이터 클렌징 하기 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [유사 항목 조회]에 대해서 알아 보도록 하겠습니다. [유사 항목 조회] SQL Server 2012의 DQS 서비스의 일부 기능 처럼 표준화 되지 않은 데이터에 대해 기준 데이터와 가장 유사한 값을 조회하고 조회된 데이터와의 유사도, 신뢰도를 판단해 주는 작업을 합니다. [유사 항목 조회 변환]은 [용어 추출]과 비슷합니다. [용어 추출]은 [참조 테이블]의 비교 항목과 일치하는 경우에만 출력하지만 [유사 항목 조회] 변환은 정확히 일치 하지 않더라도 유사하다고 판단될 경우 데이터를 출력 합니다. [용어 추출] 관련..

행 개수 – 작업 행의 개수를 출력하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [행 개수]에 대해서 알아 보도록 하겠습니다. 행 개수 작업은 SSIS작업시 단순히 데이터 흐름 경로 상에서 통과하는(=처리되는) 행 수를 사용자가 지정한 변수에 저장하는 역할을 수행 합니다. 따라서 아무런 변화 작업이 없기에 입력된 데이터와 출력된 데이터는 동일 합니다. [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성 합니다. [제어 흐름]탭에서 [데이터 흐름 태스크]를 드래그앤 드롭으로 추가 합니다. [행개수]이름을 지정하여 태스크를 생성합니다. 그리고 [스크립트 태스크]를 드래그앤..

행 샘플링 / 비율 샘플링 – 데이터를 샘플링 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [행 샘플링], [비율 샘플링]에 대해서 알아 보도록 하겠습니다. [행 샘플링] 변환은 입력 데이터에 지정한 행수 만큼 샘플 대상을 선정하는 작업 입니다. [비율 샘플링] 변환은 입력 데이터에 대해 지정한 비율 만큼 대상을 선정하는 작업 입니다. [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성 합니다. [제어 흐름]탭에서 [데이터 흐름 태스크]를 드래그 앤 드롭으로 추가 합니다. [샘플링 변환]이름을 지정하여 태스크를 생성 합니다. [데이터 흐름]탭에서 그림과 같이 [OLE..

용어 조회 – 참조 데이터를 이용하여 빈도를 확인하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [용어 조회]에 대해서 알아 보도록 하겠습니다. [용어 조회 변환]은 입력 데이터에서 미리 정의된 참조 데이터의 용어가 얼마나 나타나는지를 조회하는 작업 입니다. 이 변환 역시 [용어 추출]과 유사하게 영문 데이터에 대해서만 정상적으로 수행되며 입력 데이터는 유니코드 문자형(DT_WSTR), 유니코드 텍스트(DT_NTEXT)만 지원 됩니다. 관련 링크 http://blog.naver.com/jevida/140159227758 [BIDS]를 실행하여 [Integration Services 프로젝트]를 생성..

용어 추출 – 특정 용어를 추출 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [용어 추출]에 대해서 알아 보도록 하겠습니다. 용어 추출은 입력데이터에 대해 단어를 추출하여 사전 형식의 데이터 결과를 만들어 주는 작업 입니다. 입력데이터에서 명사 또는 명사구의 형태로 추출되며 텍스트 입력 데이터에 대해 임계값, 최대 용어 길이등의 옵션을 설정하여 추출이 가능 합니다. 용어 추출 변환의 특징. 관계사와 대명사는 추출하지 않는다. 기본적으로 대/소문자를 구분하지 않는다. 단수/복수를 동일하게 추출한다. 변환은 전용 메모리 공간에 저장된 후 변환을 수행한다. 변환은 내부의 자체 알고리즘과 통계 모델을 ..

감사 - 출력 열에 여러가지 정보를 나타내자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 감사에 대해서 알아 보도록 하겠습니다. 감사는 패키지가 실행 될 때의 환경이나 상황에 대한 정보를 데이터 흐름에 추가하여 여러가지 정보를 확인 할 수 있는 개체 입니다. 입력 데이터에 여러가지 정보를 추가하여 출력할 수 있습니다. 감사 변환은 하나의 입력과 하나의 출력을 가지며 오류 출력은 존재하지 않습니다. BIDS를 실행하여 [Integration Service 프로젝트]를 생성 합니다. [제어 흐름]탭에서 [데이터 흐름 태스크]를 드래그 앤 드롭으로 추가 합니다. [감사]이름을 지정하여태스크를 생성 합니다...

집계 - 카운트, 평균, 그룹, 최소, 최대 다양한 집계를 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간은 [집계]에 대해서 알아 보도록 하겠습니다. 집계는 입력열에 대하여 SUM이나 MAX, MIN, COUNT 등과 같은 집계연산을 수행하여 결과를 반환 합니다. SQL 쿼리에서 GROUP BY 구문과 비슷하여 집계를 수행할 열과 연산을 지정 합니다. 집계 연산 종류 GROUP BY : 집계 작업을 수행하기 위한 그룹 열. SUM : 합계 AVERAGE : 평균 값 COUNT : 전체 로우 수 DISTINCT COUNT : 유니크 한 로우 수 MINIMUM : 최소값 반환 (SQL 쿼리와는 달리 문자..

개체 전송 태스크 - 개체 속성까지 복사하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간은 [개체 전송 태스크]에 대해서 알아 보도록 하겠습니다. SSIS를 이용하여 데이터를 가져오거나 SSMS에서 가져오기/내보내기에서 테이블을 복사하여 오는 경우 테이블의 속성이 복사되지 않아 1:1복사 테이블을 만들 때 또는 동일한 환경을 구축할 때 불편한 경우가 있습니다. [개체 전송 태스크]를 이용하여 개체 속성까지 모두 복사하여 사용할 수 있습니다. 실제로 사용시 스키마 뿐만 아니라 테이블의 파일 그룹까지 모든 속성이 복사됨을 확인 할 수 있습니다. BIDS를 실행하여 [Integration Service 프로젝..

문자표 - 문자 데이터를 변환 하자 안녕하세요 강성욱 입니다.(www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [문자표]에 대해서 알아 보도록 하겠습니다. 문자표는 대문자를 소문자로 변환하거나 전자 문자를 반자 문자로 변환하는 등 문자 데이터에 대해 변환작업을 수행 할 때 사용합니다. 대상 속성에 따라 기존 열을 변경하거나 새로운 열을 추가하여 사용 할 수 있습니다. 연산 작업의 종류 소문자 : 입력 열의 데이터를 소문자로 변경 대문자 : 입력 열의 데이터를 대문자로 변경 바이트 반전 : 입력 열의 바이트 순서를 반대로 연결 히라가나 : 일본어인 경우 히라가나로 변경 가타카나 : 일본어인 경우 가타카나로 변경 반자 : 전자 문자를..

파생 열 - 다양한 함수를 사용하여 새로운 파생열을 만들자 안녕하세요 강성욱 입니다. (www.sqltag.org, www.sqler.com, http://blog.naver.com/jevida) 이번 시간에는 [파생 열]에 대해서 알아 보도록 하겠습니다. 파생 열은 SQL에서 계산된 열과 같이 기존의 열을 이용하여 새로운 열을 변환하는 기능 입니다. 예를들어 A, B컬럼이 있을 때 A+B를 정의하는 새로운 열 C를 만드는 기능입니다. 파생 열 변환은 데이터 변환과 거의 유사하지만 색로운 열을 추가하는 대신 기존을 대체 할 수도 있으며 여러가지 함수를 활용 함으로써 열 외에도 SSIS의 사용자 변수나 시스템 변수를 포함시킬 수도 있습니다. 길이, 전체 자릿수, 소수 자릿수, 코드페이지 등과 같은 속성은 ..