Data Science Lab

메모리 관리 아키텍처 – NUMA 지원 방법 Version : SQL Server 2005, 2008, 2008R2 특정 하드웨어 NUMA 노드에서 실행되는 스레드가 메모리를 할당하는 경우 SQL Server 메모리 관리자는 참조 효율을 위해 해당 NUMA 노드와 연결된 메모리에서 메모리 할당을 시도한다. 마찬가지로 버퍼풀 페이지도 해당 NUMA 노드와 연결된 메모리에서 메모리 할당을 시도 한다. 마찬가지로 버퍼풀 페이지도 하드웨어 NUMA 노드에 분산된다. 스레드가 로컬 메모리에 할당된 버퍼 페이지의 메모리에 액세스하는 것이 외부 메모리를 액세스하는 것보다 효율 적이다. 각 NUMA 노드(하드웨어 NUMA, 소프트 NUMA)에는 네트워크 I/O 처리에 사용되는 I/O 완료 포트가 연결되어 있어 여러 포..

메모리 관리 아키텍처 – NUMA(Non-Uniform Memory Access)이해 Version : SQL Server 2005, 2008, 2008R2 SQL Server는 NUMA(Non-Uniform Memory Access)를 인식하며 특수한 구성 없이 NUMA 하드웨어에서 작동한다. 클럭 속도와 프로세서 수가 증가 할수록 처리하는데 필요한 메모리 대기 시간을 줄이기가 더욱 어려워진다. 이러한 문제를 피하기 위해 하드웨어 업체에서는 L3 캐시를 제공하지만 제한적이다. NUMA 아키텍처는 이 문제에 대한 포괄적인 해결책을 제공하며 SQL Server는 응용프로그램을 변경할 필요 없이 NUMA 기반 컴퓨터를 활용하도록 디자인 되었다. [NUMA 개념] 일반적인 하드웨어는 작은 프로세서 집합에 사용..

메모리 관리 아키텍처 – Hot Add 메모리 Version : SQL Server 2005, 2008, 2008R2 Hot Add 메모리는 SQL Server Enterprise 64bit 에서 지원되면 AWE가 설정되어 있는 경우 32bit에서도 사용 가능하다. Hot Add 메모리는 Windows Server 2003 Enterprise Edition, Datacenter Edition 에서만 사용할 수 있다. 또한 이 메모리를 사용하려면 하드웨어 공급업체에서 지원해야 한다. SQL Server 32bit AWE 상태에 Hot Add 메모리를 사용하려면 SQL Server 시작 옵션에서 –h 를 사용하여 서비스를 시작해야 한다. Windows Server 2003에서 PAE는 서버가 Hot Add ..

메모리 관리 아키텍처 – 버퍼 관리_페이지 쓰기 Version : SQL Server 2005, 2008, 2008R2 데이터베이스 엔진 인스턴스의 I/O에는 논리적 읽기 수 및 물리적 읽기 수가 포함되어 있다. 논리 쓰기는 버퍼캐시에 있는 페이지의 데이터가 수정 될 때 발생 한다. 물리적 쓰기는 페이지를 버퍼 캐시에서 디스크로 쓸 때 발생 한다. 페이지가 버퍼 캐시에서 수정 될 때 페이지는 디스크에 바로 기록되지 않고 대신 커밋되지 않음으로 표시 된다. 즉 페이지는 물리적으로 디스크에 기록되기 전에 두 개 이상의 논리적 쓰기를 수행 할 수 있다. 각 논리적 쓰기의 경우 트랜잭션 로그 레코드는 수정 사항을 기록하는 로그 캐시에 삽입 된다. 로그 레코드는 관련된 커밋되지 않은 페이지가 버퍼 캐시에서 제거되..

메모리 관리 아키텍처 – 버퍼 관리_페이지 읽기 Version : SQL Server 2005, 2008, 2008R2 SQL Server 데이터베이스 엔진 인스턴스의 I/O에는 논리적 읽기 수 및 물리적 읽기 수가 포함되어 있다. 논리적 읽기는 데이터베이스 엔진이 버퍼캐시에서 페이지를 요청할 때마다 발생 한다. 페이지가 현재 버퍼캐시에 없는 경우 물리적 읽기가 먼저 디스크의 페이지를 캐시로 복사한다. 데이터베이스 엔진의 인스턴스로 생성된 읽기 요청은 관계형 엔진에 의해 제어되고 저장소 엔진에 의해 최적화 된다. 관계형 엔진은 테이블 검색, 인덱스 검색, 키 사용 읽기와 같은 가장 효과적인 액세스 방법을 결정 한다. 저장소 엔진 및 버퍼 관리자 구성 요소는 수행할 일반 적인 읽기 패턴을 결정하고 액세스 ..

메모리 관리 아키텍처 – 버퍼 관리 Version : SQL Server 2005, 2008, 2008R2 SQL Server 데이터베이스의 주 목적은 데이터 저장과 데이터 검색이므로 데이터베이스 엔진의 특성은 집중형 디스크 I/O이다. I/O 작업은 많은 리소스를 소비하며 완료하는 데 비교적 오랜 시간이 걸리므로 SQL Server에서는 I/O의 효율성을 높이는 것이 중요하다. 버퍼 관리는 이러한 효율성을 얻기 위한 핵심 구성요소이다. 버퍼 관리 구성 요소는 데이터베이스 페이지를 액세스하고 업데이트 하기 위한 버퍼 관리자와 데이터베이스 파일 I/O를 줄이기 위한 버퍼캐시(버퍼 풀이라고도 함)의 두 가지 메커니즘으로 구성되어 있다. [버퍼 관리 작업 방법] 버퍼는 데이터 또는 인덱스 페이지와 같은 크기인..

메모리 관리 아키텍처 – Min/Max Server Memory 효과 Version : SQL Server 2005, 2008, 2008R2 Min Server Memory / Max Server Memory의 두 가지 옵션을 사용하여 SQL Server 인스턴스에서 사용하는 버퍼 풀의 메모리 양을 제어 할 수 있다. 기본적으로 SQL Server는 사용할 수 있는 시스템의 리소스에 따라 메모리를 동적으로 변경 한다. Min Server Memory 의 최소 용량은 0 이며 Max Server Memory의 최소 용량은 16MB이다. Min / Max Server Memory 설정 : http://sqlmvp.kr/140167266577 SQL Server는 프로세스로서 Max Server Memory ..

메모리 관리 아키텍처 – 동적 메모리 관리 Version : SQL Server 2005, 2008, 2008R2 SQL Server 데이터베이스 엔진의 기본 메모리 관리 동작은 시스템에 메모리가 부족해지지 않도록 필요한 만큼 메모리를 확보하는 것이다. 데이터베이스 엔진은 Windows의 메모리 알림 API를 사용하여 이 작업을 수행 한다. SQL Server의 가상 주소 공간은 버퍼풀이 차지하는 공간과 나머지 공간으로 고유하게 나눌 수 있다. AWE 메커니즘을 사용하면 버퍼 풀이 AWE 매핑된 메모리에 있을 수 있으며 데이터베이스 페이지를 위한 추가 공간을 제공 한다. 버퍼 풀은 SQL Server의 주 메모리 할당 소스로 사용된다. COM 개체 등 SQL Server 프로세스에 있으며 SQL Serv..

메모리 관리 아키텍처 – 프로세스 주소 공간 Version : SQL Server 2005, 2008, 2008R2 모든 32비트 응용프로그램은 4GB의 프로세스 주소 공간이 있다. (32비트의 주소 공간은 4GB의 메모리를 매핑 할 수 있음). 8-bit2^8256bits16-bit2^1664KB32-bit2^324GB64-bit2^642EB Windows 운영체제에서 응용 프로그램은 커널 모드와 사용자 모드의 공간으로 나누어 지며 사용자 모드는 2GB의 공간이 할당 되며 액세스 할 수 있다. 응용 프로그램에서 소유한 모든 스레드는 동일한 사용자 모드 가상 주소 공간을 공유 한다. Windows Server 2000 이후 버전에서는 커널 주소의 공간을 1G로 제한하고 응용 프로그램에 3GB의 프로세스 ..

메모리 관리 아키텍처 – 메모리 아키텍처 Version : SQL Server 2005, 2008, 2008R2 SQL Server에서는 메모리를 필요에 따라 동적으로 확보하고 해제 한다. 일반적으로 관리자는 SQL Server에 할당 해야 하는 메모리 양을 지정할 필요가 없다. (필자의 생각은 SQL 전용 시스템의 경우 최소, 최대 메모리 할당을 통하여 만약의 사태에 SQL Server의 가용 메모리가 뺏기는 일이 없어야 한다고 생각한다.) SQL Servers는 32비트의 Windows 운영체제에서 실제 메모리를 4GB이상 사용할 수 있도록 하는 AWE(Address Windowing Extensions)를 지원하여 최대 64GB의 실제 메모리가 지원된다. Windows 2000에서 실행되는 SQL ..