Data Science Lab

ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) · Version : SQL Server 2016, AWS Aurora, Maria ODBC 3.0 최근 다양한 DB환경이 구성되면서 DW(Data Warehouse)를 구축할 때, ETL 작업 또한 이기종 DB (데이터베이스가 다른 종류간의 ETL) 작업이 증가하는 추세이다. 필자는 현재 다양한 데이터베이스를 구축 운영하고 있으며 MySQL 에서 MS SQL 로 ETL과정중 예기치 못한 데이터 오류가 많이 발생 하였다. AWS에 있는 Aurora (MySQL 5.6) 데이터 원본에서MS SQL Server로 ETL하는 과정에서 Decimal값이 정상적으로 표시되지 않고 /100 값으로 변환되어 ..

Run the SQL Server 2017 with Docker · Version : SQL Server 2017 Linux SQL Server 2017 Linux 버전을 Docker를 활용해서 빠르게 설치하여 활용하는 방법에 대해서 살펴본다. 이번 포스트에서 다루는 환경 구성은 Windows Host 기반에 Docker(windows버전)를 설치하고 Container로 SQL Server 2017 Linux 를 실행한다. 이 포스트는 SQL Server를 중점으로 다루고 있으며 Docker에 대해서는 다루지 않는다. Docker 설치가 완료 되었으면 Powershell 명령 도구를 실행 한다. 그리고 아래 명령어를 실행 한다. 이 명령은 최신 버전의 SQL Server 2017 Linux 버전의 컨테이..

SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) · Version : SQL Server 2008, 2012, 2014, 2016, 2017 SQL Server를 설치하고 SQL Server configuration manager(구성 관리자)를 실행하면 WMI 공급자 연결 오류로 인해서 아래와 같은 오류 구문과 함께 구성관리자 실행이 되지 않는 경우가 있다. SQL Server Configuration Manager ————————— Cannot connect to WMI provider. You do not have permission or the server is unreachable. Note that you can only manage SQL S..

How to check if Azure SQL is using In-Memory - Azure SQL에서 In-Memory를 사용하는지 확인하는 방법 - Premium Tier에서 Standard Tier 로 변경 시 프리미엄 서비스 사용 확인 · Version : AzureSQL Azure SQL 사용시 Tier 마다 지원되는 기능이 조금씩 다르다. 그중 P Tier는 Premium 서비스로 In-Memroy 테이블이 지원된다. 이번 포스트에서는 P Tier에서 하위 S Tier로 변경 시 In-Memory 서비스를 사용하고 있는 테이블이 있는지 확인하는 방법에 대해서 알아본다. · Service Tier : https://docs.microsoft.com/en-us/azure/sql-database/..

SSIS 실행 로그 남기기 - Version : SSIS Server 2005, 2008, 2008R2, 2012, 2014, 2015 SSIS 패키지를 운영할 때 중요한 요소 중 하나는 로깅이다. SSIS에서는 다양한 로깅 방법을 지원한다. l 텍스트 파일 – 가장 기본적인 로깅 l SQL Server 테이블 – 가장 큰 장점은 쉽게 로그 결과를 조회할 수 있다. l SQL Server 프로파일러 – 이벤트 프로파일 캡처할 수 있다. 추적에 기록된다. l Windows 이벤트 로그 l XML 파일 [SQL Server 테이블에 로깅] SQL Server 테이블에 로깅하는 방법에 대해서 알아본다. (다른 옵션들을 선택해도 설정 방법은 유사하기 때문에 응용하여 사용할 수 있다.) 로깅을 테스트하기 위해 S..

How to check if Azure SQL is using In-Memory - Azure SQL에서 In-Memory를 사용하는지 확인하는 방법 - Premium Tier에서 Standard Tier 로 변경 시 프리미엄 서비스 사용 확인 · Version : AzureSQL Azure SQL 사용시 Tier 마다 지원되는 기능이 조금씩 다르다. 그중 P Tier는 Premium 서비스로 In-Memroy 테이블이 지원된다. 이번 포스트에서는 P Tier에서 하위 S Tier로 변경 시 In-Memory 서비스를 사용하고 있는 테이블이 있는지 확인하는 방법에 대해서 알아본다. · Service Tier : https://docs.microsoft.com/en-us/azure/sql-database/..

MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 - 다양한 플랫폼에서 SQL Server 명령을 사용 l Version : All Verison Microsoft는 SQL Server와 상호작용할 수 있는 크로스플랫폼 명령줄 도구인 MSSQ-CLI를 출시하였다. 이번 포스트에서는 MSSQL-CLI 설치 및 기능에 대해서 살펴본다. MSSQL-CLI는 새로 도입된 대화형 명령줄 도구로 SQL Server 데이터베이스에서 사용하는 많은 기능의 쿼리를 실행한다. 또한 MSSQL-CLI는다양한 플랫폼에서 작동하는 오픈소스 도구이다. MSSQL-CLI는 Python으로 작성되었으며 command line interface 프로젝트인 pgcli와 mycli 기반으로 한다. MSSQL-CLI ..

SSMS – Search for execution plan - 실행계획에서 검색 기능을 활용하여 원하는 항목 찾기 · Version : SSMS 17.2 later SQL Server에서 실행계획은 쿼리를 튜닝할때 참고해야하는 매우 중요한 정보이다. 복잡한 쿼리의 경우 실행계획도 매우 복잡하게 표현되어 원하는 부분을 빠르게 찾아서 보기 힘든경우가 많다. SSMS 17.2 이전 버전에서는 실행계획을 XML 형식으로 표시한 다음 검색 기능을 활용하여 원하는 항목을 찾아 볼 수 있었다. 하지만 이 방법은 매우 직관적이지 않으며 복잡한 경우 다시 그래픽 환경의 실행계획을 참고하며 보아야하는 불편함이 있었다. SSMS 17.2 이후 버전에서는 그래픽 실행계획에서 마우스 오른쪽 버튼을 클릭하여 나타난 팝업 메뉴에서..

SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) - 병렬처리에 발생하는 대기 종류 변경 · Version : SQL Server 2016 SP2 later, SQL Server 2017 CU3, Azure SQL SQL Server에서 CPU를 두개 이상 사용하는 컴퓨터에서는 운영체제의 다중 스레드로 쿼리나 인덱스 작업을 병렬로 수행하여 빠르고 효율적으로 요청 작업을 완료할 수 있다. 쿼리가 병렬로 실행될때 가장 이상적인 동작은 모든 작업이 생산자 스레드에 균등하게 분산되어 모두 같은 시간에 작업이 끝나서 결과를 소비자 스레드로 넘기는 것이다. 이때 모든 생성자가 완료되기를 기다리는동안 CXPACKET 대기(이때 발생하는 대기는 정상이다.)가..

SQL Server Statistics Update row sampling rate and histogram step - 통계 업데이트 행 샘플링 비율과 히스토그램 단계 · Version : SQL Server SQL Server에서 통계(statistics)정보는 데이터를 조회할때 검색 조건에 따라 옵티마이저가 해당 컬럼으로 구성되는 인덱스를 사용할지 여부를 결정하는 중요한 참고 정보이다. 통계는 데이터가 있는 컬럼에 대해 인덱스가 만들어질 때 이 컬럼값의 히스토그램 및 관련정보를 이용해서 만들어 진다. · SQL Server Statistics : http://sqlmvp.kr/140165557766 통계에 대한 샘플링 비율이 높을 수록 통계 정보의 신뢰도는 높아진다. 그렇다면 통계에 대한 행 샘플링..