MaxBCPThreads에 따른 BCP 병렬출력

MaxBCPThreads에 따른 BCP 병렬출력

 

• Version : SQL Server 2005, 2008, 2008R2, 2012

 

BCP 유틸리티(BCP.exe)는 BCP(Bulk Copy Data) API를 사용하는 명령줄 도구이다. BCP는다음과 같은 기능을 수행 할 수 있다.

• 데이터 파일로 SQL Server 테이블의 데이터를 대량으로 내보낸다.
• 쿼리의 데이터를 대량으로 내보낸다.
• SQL server 테이블로 데이터 파일의 데이터를 대량으로 가져온다.
• 서식 파일을 생성한다.

 

• BCP 사용 : http://sqlmvp.kr/140176987081

 

BCP를 병렬로 처리하기 위해서 MaxBCPThreads를 지정하여 사용하게 된다. MaxBCPThreads를 0이 아닌 값으로 설정 하여 실행 하였을 때 병렬로 생성되지만 일부 환경에 따라 스냅숏 에이전트는 멀티 스냅숏파일을 생성하지 않았다.

 

조사결과 스냅숏에이전트에 의해 병렬 파일 내보내기에 영향을 미치는 테이블의 통계 분포를 발견 했다. 이는 동시 스냅샷 생성 옵션이 배포 에이전트에 의해 병렬 BCP 스레드의 사용을 방지하도록 되어 있었다.

 

재현을 위해서 세 개의 테이블을 만들었다. tblNewArticle6는 60398행을, tblNewArticle3은 100000행을, tblNewArticle1은 2개의 행을 가지고 있다. 스냅숏 에이전트의 MaxBCPThreads 값은 6으로 설정하였다. tblNewArticle6은 12BCP 파일을, tblNewArticle3은 오직 하나의 BCP 파일이 있다.

 

프로파일러를 이용해서 스냅숏 에이전트데 대한 정보를 찾을 수 있었다. BCP스레드는 로드 순서 및 힌트 파티션을 #으로 표시 하였다.

 

 

또한 테이블에 대해 DBCC SHOW_STATISTICS 실행을 하는 동적 SQL을 확인할 수 있었다.

 

다음 그림은 tblNewArticle6 데이터에 대한 통계 분포이다.

 

 

병렬 BCP 파일 생성은 다음에 해당 하는 경우가능하다.

• 클러스터된 인덱스의 통계에 사용할 수 있는 여러 개의 범위가 있다.
• 클러스터된 인덱스는 기본키 열을 정의해야 한다.
• MaxThreads 값이 1이 아닌 다른 값으로 설정한다.

 

10만행을 가지고 있는 tblNewArticle3에 클러스터된 인덱스와 기본키 열을 정의하여 다음과 같이 병렬 BCP를 처리하도록 하였다. 12개의 병렬BCP가 생성된 것을 확인 할 수 있다.

 

 

[참고자료]

http://troubleshootingsql.com/2013/09/23/maxbcpthreads-not-causing-parallel-export/

 

 

2013-12-03 / 강성욱 / http://sqlmvp.kr