Data Science Lab

ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) · Version : SQL Server 2016, AWS Aurora, Maria ODBC 3.0 최근 다양한 DB환경이 구성되면서 DW(Data Warehouse)를 구축할 때, ETL 작업 또한 이기종 DB (데이터베이스가 다른 종류간의 ETL) 작업이 증가하는 추세이다. 필자는 현재 다양한 데이터베이스를 구축 운영하고 있으며 MySQL 에서 MS SQL 로 ETL과정중 예기치 못한 데이터 오류가 많이 발생 하였다. AWS에 있는 Aurora (MySQL 5.6) 데이터 원본에서MS SQL Server로 ETL하는 과정에서 Decimal값이 정상적으로 표시되지 않고 /100 값으로 변환되어 ..

Run the SQL Server 2017 with Docker · Version : SQL Server 2017 Linux SQL Server 2017 Linux 버전을 Docker를 활용해서 빠르게 설치하여 활용하는 방법에 대해서 살펴본다. 이번 포스트에서 다루는 환경 구성은 Windows Host 기반에 Docker(windows버전)를 설치하고 Container로 SQL Server 2017 Linux 를 실행한다. 이 포스트는 SQL Server를 중점으로 다루고 있으며 Docker에 대해서는 다루지 않는다. Docker 설치가 완료 되었으면 Powershell 명령 도구를 실행 한다. 그리고 아래 명령어를 실행 한다. 이 명령은 최신 버전의 SQL Server 2017 Linux 버전의 컨테이..

SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) · Version : SQL Server 2008, 2012, 2014, 2016, 2017 SQL Server를 설치하고 SQL Server configuration manager(구성 관리자)를 실행하면 WMI 공급자 연결 오류로 인해서 아래와 같은 오류 구문과 함께 구성관리자 실행이 되지 않는 경우가 있다. SQL Server Configuration Manager ————————— Cannot connect to WMI provider. You do not have permission or the server is unreachable. Note that you can only manage SQL S..

How to check if Azure SQL is using In-Memory - Azure SQL에서 In-Memory를 사용하는지 확인하는 방법 - Premium Tier에서 Standard Tier 로 변경 시 프리미엄 서비스 사용 확인 · Version : AzureSQL Azure SQL 사용시 Tier 마다 지원되는 기능이 조금씩 다르다. 그중 P Tier는 Premium 서비스로 In-Memroy 테이블이 지원된다. 이번 포스트에서는 P Tier에서 하위 S Tier로 변경 시 In-Memory 서비스를 사용하고 있는 테이블이 있는지 확인하는 방법에 대해서 알아본다. · Service Tier : https://docs.microsoft.com/en-us/azure/sql-database/..

IIS W3C Logging - Version : IIS W3C 확장 로그 파일 형식은 추적된 정보를 커스터마이징하여 더 자세한 정보를 얻을 수 있다. 확장 로그 파일을 커스터마이징하려면 로깅하려는 필드를 선택한 후 서버에서 처리하도록 설정해야 한다. 그러면 액세스 로그에 저장되는 항목 크기가 증가되고 필드가 추가 되기 때문에 저장에 필요한 공간이 이전 형식에 비해 훨씬 늘어난다. 아래 스크립트는 W3C 로그의 일부이다. 다른 로그형식과는 다르게 빈 공간으로 항목을 구분한다. #Software: Internet Information Services 6.0 #Version: 1.0 #Date: 2001-05-02 17:42:15 #Fields: time c-ip cs-method cs-uri-stem sc..

IIS Logging - Version : IIS IIS 로그 파일 형식은 고정된 ASCII 형식이다. 표준 ASCII 텍스트 형식으로 표시되기 때문에 모든 표준 텍스트 편집기나 호환 응용 프로그램을 통해서 로그를 확인할 수 있다. 아래 스크립트는 IIS 로그 파일의 내용이다. 각 항목은 쉼표로 구분된다. 192.168.114.201, -, 03/20/01, 7:55:20, W3SVC2, SALES1, 172.21.13.45, 4502, 163, 3223, 200, 0, GET, /DeptLogo.gif, -, 172.16.255.255, anonymous, 03/20/01, 23:58:11, MSFTPSVC, SALES1, 172.16.255.255, 60, 275, 0, 0, 0, PASS, /Int..

IIS NCSA Logging - Version : IIS NCSA 로그 파일 형식은 로그파일의 가장 기본적인 형식이다. NCSA 로그 파일 형식은 고정된 ASCII 형식이며 각 로그 항목은 고유 파일 요청을 나타낸다. 이 로그파일을 분석하면 아래와 같은 정보를 얻을 수 있다. · Hits (고유한 파일 요청 수) · Page views (고유한 페이지 요청 수) · Visits (지정된 기간 동안 사용자 세션 수) · 기타 기본적인 액세스 정보 NCSA 로그 파일 형식은 아래와 같은 항목을 포함하고 있으며 로그 항목 개수가 적기 때문에 로깅에 필요한 공간이 절약된다. 아래 샘플은 NCSA 형식으로 기록된 로그이다. 172.21.13.45 - Microsoft\JohnDoe [07/Apr/2004:17:..

IIS 액세스 로그 종류 - Version : IIS 액세스 로그는 HTTP, FTP, SMTP 서버에서 로깅을 사용한다고 설정할 때 생성된다. 웹사이트에 요청이 있을때 마다 가저오려는 모든 성공, 실패 시도가 액세스 로그에 기록된다. 액세스 로그를 분석하면 아래와 같은 정보를 확인할 수 있다. · 하루 혹은 한주의 가장 바쁜 시간 · 사이트에 방문하는 사용자의 사용 브라우저 및 플랫폼 · 리소스 선호도 · 어떤 사이트를 통해서 들어오는지 · 광고에 효과적인 정보 수집 · 검색 엔진 사용량 및 키워드에 대한 정보 · 사이트에 머문 시간 IIS에서는 아래와 같은 다양한 형식의 액세스 로그를 구성할 수 있다. · NCSA(National Center for Supercomputer Applications) ..

IIS 프로세스 사용량 모니터링 - Version : IIS 프로세스 사용량 관련 성능 카운터에 대해서 살펴 본다. CPU는 서버의 정보를 실제로 처리하는 역할을 한다. 서버의 성능을 검사할 때 메모리 병목현상을 제거한 후에는 CPU를 의심해 보아야 한다. 서버의 프로세서에 병목이 발생한다면 더 빠른 클럭이나 더 많은 수의 코어를 가진 CPU로 업그레이드를 고민해야 한다. [쓰레드 큐] · System\Processor Queue Length : 실행 되기 위해 기다리는 쓰레드의 수를 표시한다. 이러한 쓰레드는 시스템의 모든 프로세스에서 공유하는 영역에 대기된다. 이 카운터가 Core 수 X 2 배수이상으로 지속되면 프로세서 업그레이드를 검토 해야한다. [CPU 사용량] · Processor\%Proce..

IIS 메모리, 캐싱 가상 메모리 사용량 확인 - Version : IIS IIS 메모리 사용량 관련 성능 카운터에 대해서 살펴 본다. [실제 및 가상 메모리 사용량] · Memory\Available Kbytes : 컴퓨터에서 실행되는 프로세스에 할당하거나 시스템에서 사용할 수 있는 실제 메모리 크기 (킬로바이트) · Memory\Committed Bytes : 커밋된 가상 메모리의 크기 (바이트) 서버에서 사용할 수 있는 메모리가 거의 없으면 시스템에 메모리를 추가해야한다. 일반적으로 서버의 전체 실제 메모리의 5% 정도가 사용할 수 있는 메모리로 남아 있어야 한다. 시스템 전체의 실제 메모리에 대한 커밋된 바이트의 비율이 높다면 서버에 메모리를 추가해야한다. 일반적으로 커밋된 바이트 값이 전체 메모..