Data Science Lab

SQL Server 2017 소규모 시스템에서 향상된 리소스 사용 · Version : SQL Server 2017 CU4 SQL Server는 소규모 컴퓨터에서 엔터프라이즈 서버까지 확장 할 수 있도록 설계된 데이터베이스이다. 일반적으로 데이터베이스는 많은 자원을 필요로 한다. 특히 CPU 및 메모리는 데이터베이스의 성능에 매우 중요한 요소이다. (물론 디스크 성능도 중요하다.) SQL Server 2017 CU4에서는 작은 메모리(2GB)에서도 SQL Server 성능이 향상될 수 있도록 개선 되었다. · Improvement: Improves the performance of SQL Server 2017 on smaller systems : https://support.microsoft.com/en..

클러스터 컬럼스토어 인덱스(Clusterd Columnstore Index)에서 대량 인서트 작업시 발생하는 래치 경합 최소화 트릭 · Version : SQL Server Clustered Columnstore Index(CCI)에서 데이터를 로드 하는 일반적인 시나리오는 오버헤드가 적은 시간 (일반적으로 야간 시간)을 활용해서 수백만개의 행이 포함된 데이터 파일을 로드하는 것이다. 권장 되는 배치 사이즈는 batchsize >= 102400으로 데이터를 로드 하는것이다. 배치 사이즈에 대한 내용은 아래 링크를 참고 한다. · 컬럼스토어 인덱스 대용량 데이터 로드 : http://sqlmvp.kr/220135847446 CCI는 동시 데이터 스트림을 동일한 델타 행 그룹으로 허용한다. 그러나 동시성을 ..

SQL Server 2016 향상된 복제 기능 – 배포 데이터베이스 클린업 향상 · Version : SQL Server 2016 SP2, 2012 SP4 이후 SQL Server 2016 SP2 에서 복제 기능 향상으로 배포 데이터베이스를 클린업 할때 사용자가 일괄 삭제에 대한 입력 값을 정의할 수 있으며 대량 삭제 작업시 시스템이 자동으로 삭제 비율을 조정 할 수 있도록 변경되었다. 복제의 배포 데이터베이스는 전체 복제 토폴로지에서 매우 중요한 구성요소이다. 트랜잭션 복제의 경우 배포 에이전트는 복제 에이전트에 대한 복제 메타 데이터와 기록을 저장하는 것 외에도 구독자에게 전달 될 트랜잭션과 명령에 대한 중간 저장소를 제공한다. 이러한 트랜잭션과 명령은 MSRepl_Transactions및 MSRep..

SQL Server 2017향상된 복제 기능 – 배포 데이터베이스의 AG 지원 · Version : SQL Server 2017 CU6 SQL Server 2017 CU6부터 SQL Server 복제 기능 향상으로 배포 데이터베이스가 가용성 그룹(AG)에 포함이 가능하게 되었다. 이 개선 사항은 향후 SQL Server 2016 및 2014에도 적용될 예정이다. SQL Server는 가용성 그룹(AG)를 사용하여 SQL Server 인스턴스간에 데이터베이스 그룹에 대한 실시간 데이터 복제 기능을 제공한다. 가용성 그룹은 복제할 모든 데이터베이스가 하나의 가용성 단위로 포함되어 동작한다. AG 페일오버가 발생해도 SQL Server는 복제가 정상적으로 작동한다. 복제 게시 및 구독 데이터베이스는 가용성 그..

SQL Server 2017 향상된 복제 기능 - 복제에이전트 프로필 매개변수의 동적 새로 고침 · Version : SQL 2017 SQL Server 2017 CU3부터 SQL Server 복제 기능 향상으로 에이전트를 다시 시작하지 않고도 복제 에이전트 매개 변수의 변경 내용을 동적으로 다시 로드할 수 있다. 이 개선 사항은 향후 SQL Server 2016 및 2014에도 적용될 예정이다. 복제는 에이전트 추적이라는 몇 가지 독립실행형 프로그램을 사용하여 변경 내용을 추적 및 데이터 배포와 관련된 작업을 수행 한다. 예를 들어 트랜잭션 복제와 함께 사용되는 로그 판독기 에이전트는 게시자의 트랜잭션 로그에서 복제용으로 표시된 트랜잭션을 배포 데이터베이스로 이동한다. 트랜젝션 복제를 사용하여 게시된 ..

SQL Server 2017에서 향상된 UDF 실행 계획 · Version : SQL Server 202017 CU3 SQL Server 2017 CU3 이후 부터 UDF(User-Defined Function) 실행계획이 개선되어 사용자에게 좀 더 많은 정보를 보여주게 되었다. (필자가 글 을 쓰는 시점으로 최신 CU7까지 출시 되었다.) 이전에는 쿼리에 참조된 UDF를 사용할 때 쿼리 실행 시간의 상당 부분이 함수 내에서 발생하여도 쿼리 실행계획을 보고 쉽게 파악하기가 어려웠다. SQL Server 2017 CU3 이후 부터는UdfCpuTime과 UdfElaspsedTime의 두 가지 새로운 속성이 추가되어 사용자 정의 함수내에서 사용되는 리소스를 확인할 수 있게 되었다. 아래 스크립트는 테스트를 구..

SSIS 실행 로그 남기기 - Version : SSIS Server 2005, 2008, 2008R2, 2012, 2014, 2015 SSIS 패키지를 운영할 때 중요한 요소 중 하나는 로깅이다. SSIS에서는 다양한 로깅 방법을 지원한다. l 텍스트 파일 – 가장 기본적인 로깅 l SQL Server 테이블 – 가장 큰 장점은 쉽게 로그 결과를 조회할 수 있다. l SQL Server 프로파일러 – 이벤트 프로파일 캡처할 수 있다. 추적에 기록된다. l Windows 이벤트 로그 l XML 파일 [SQL Server 테이블에 로깅] SQL Server 테이블에 로깅하는 방법에 대해서 알아본다. (다른 옵션들을 선택해도 설정 방법은 유사하기 때문에 응용하여 사용할 수 있다.) 로깅을 테스트하기 위해 S..

MSSQL-CLI를 활용한 크로스플랫폼에서 SQL Server 관리하기 - 다양한 플랫폼에서 SQL Server 명령을 사용 l Version : All Verison Microsoft는 SQL Server와 상호작용할 수 있는 크로스플랫폼 명령줄 도구인 MSSQ-CLI를 출시하였다. 이번 포스트에서는 MSSQL-CLI 설치 및 기능에 대해서 살펴본다. MSSQL-CLI는 새로 도입된 대화형 명령줄 도구로 SQL Server 데이터베이스에서 사용하는 많은 기능의 쿼리를 실행한다. 또한 MSSQL-CLI는다양한 플랫폼에서 작동하는 오픈소스 도구이다. MSSQL-CLI는 Python으로 작성되었으며 command line interface 프로젝트인 pgcli와 mycli 기반으로 한다. MSSQL-CLI ..

SSMS – Search for execution plan - 실행계획에서 검색 기능을 활용하여 원하는 항목 찾기 · Version : SSMS 17.2 later SQL Server에서 실행계획은 쿼리를 튜닝할때 참고해야하는 매우 중요한 정보이다. 복잡한 쿼리의 경우 실행계획도 매우 복잡하게 표현되어 원하는 부분을 빠르게 찾아서 보기 힘든경우가 많다. SSMS 17.2 이전 버전에서는 실행계획을 XML 형식으로 표시한 다음 검색 기능을 활용하여 원하는 항목을 찾아 볼 수 있었다. 하지만 이 방법은 매우 직관적이지 않으며 복잡한 경우 다시 그래픽 환경의 실행계획을 참고하며 보아야하는 불편함이 있었다. SSMS 17.2 이후 버전에서는 그래픽 실행계획에서 마우스 오른쪽 버튼을 클릭하여 나타난 팝업 메뉴에서..

SQL Server Parallelism and Wait change (CXAPCKET, CXCONSUMER) - 병렬처리에 발생하는 대기 종류 변경 · Version : SQL Server 2016 SP2 later, SQL Server 2017 CU3, Azure SQL SQL Server에서 CPU를 두개 이상 사용하는 컴퓨터에서는 운영체제의 다중 스레드로 쿼리나 인덱스 작업을 병렬로 수행하여 빠르고 효율적으로 요청 작업을 완료할 수 있다. 쿼리가 병렬로 실행될때 가장 이상적인 동작은 모든 작업이 생산자 스레드에 균등하게 분산되어 모두 같은 시간에 작업이 끝나서 결과를 소비자 스레드로 넘기는 것이다. 이때 모든 생성자가 완료되기를 기다리는동안 CXPACKET 대기(이때 발생하는 대기는 정상이다.)가..