Data Science Lab

[Review] 2020-03-03 알고리즘 스터디 – 12 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.facebook.com..

VM 환경의 SQL Server에서 할당된 CPU를 모두 사용하지 못하는 현상 · Version : SQL Server Virtual Machine (VM)의 성능이 향상됨에 따라 많은 시스템들이 Physical 서버에서 VM 머신으로 마이그레이션을 진행하고 있다. 이번 포스트는 Physical머신에서 VM으로 마이그레이션 후 SQL Server에서 할당된 CPU를 모두 사용하지 못하는 성능 문제에 대해서 다룬다. Host Server OS Windows Server 2019 Standard CPU 2 socket (64 Core) RAM 128GB VM Server OS Windows Server 2019 Standard SQL Server SQL Server 2016 Standard CPU 8 Cor..

[Review] 2020-03-02 비개발자를 위한 데이터 스터디 – 7 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.faceb..

파이썬과 OpenCV를 이용한 성별 및 연령 판별하기 · Version : Python 3.X, OpenCV 파이썬과 OpenCV 라이브러리를 활용하여 성별 및 연령을 판별해 보도록 한다. 이번 포스트에서는 프로그램 코드에 대한 설명이나 알고리즘에 대한 설명은 다루지 않는다. 참고 사이트에서 다운로드 받은 소스를 단순히 실행하고 결과를 얻음으로써, 이미지 분석에 대한 흥미를 유발하는데 목적이 있다. CV (Computer Vision)은 컴퓨터가 인간처럼 디지털 이미지와 비디오를 보고 식별할 수 있게 하는 연구분야 이다. Computer Vision은 디지털 이미지를 수집, 처리, 분석 및 이해하여 실제 세계에서 고차원적 데이터를 추출하여 결정에 사용할 수 있는 기호 또는 숫자 정보를 생성한다. 이 과정..

SQL Server 복원 성능 최적화 · Version : SQL Server SQL Server에서 백업 파일을 복원할때 빠르게 복원하기 위한 최적화 방법을 소개한다. 이 방법을 사용한다고 해서 무조건 빠르게 복원되지는 않으며, 사용할 수 있는 시스템 리소스에 따라 최적화된 옵션을 제공함으로써 좀 더 빠르게 복원할 수 있게 유도 하는 것이다. 데이터베이스 백업 및 복원에 대한 통계를 확인하기 위해 추적 플래그 3213, 3605를 설정한다. DBCC TRACEON (3213, -1) DBCC TRACEON (3605, -1) 데이터베이스를 복원하면, SQL 이벤트 로그에서 아래와 같은 내용을 확인할 수 있다. 기본 설정을 사용하면 최대 전송크기는 1024K 이고 버퍼수는 6인것을 확인할 수 있다. 이때..

SQL Server 트랜잭션 로그 복원시 복원 시간이 오래 걸리는 현상 · Version : SQL Server 2016 Enterprise Edition SQL Server에서 트랜잭션 로그를 사용하여 데이터를 복원시, 평소와 다르게 매우 오래 걸리는 현상이 발생하였다. 처음에는 I/O 서브 시스템을 의심하고 물리장비 까지 교체하였으나, 증상을 동일하였다. 여러가지 가설을 세웠고, 원인 분석 결과, Slow query가 트랜잭션 로그의 복원시간과 관련이 있다는 것을 발견할 수 있었다. 필자의 운영 환경은 10분 마다 트랜잭션 로그 백업을 진행하고, 백업된 로그는 다른 서버에서 Read Only(STAND BY)로 복원하여 각 부서에서 사용할 수 있도록 로그 쉬핑을 구성하였다. 10분 마다 발생하는 로그..

[Review] 2020-02-24 비개발자를 위한 데이터 스터디 – 7 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.faceb..

[Review] 2020-02-18 알고리즘 스터디 – 12 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.facebook.com..

HUE에서 10만행이상 브라우저에 출력하기 · Version : Hadoop 3.0.0-cdh6.3.2, Hive, HUE HUE(haddop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 에코시스템으로 Hive나 Impala, Spark Job등을 쉽게 질의할 수 있는 웹 기반 사용자 인터페이스이다. 필자의 HUE 사용환경은 CDH(Cloudera Hadoop) 6.3버전에서 제공되는 에코 시스템으로 설치하였으며, Hive와 Impala 데이터 조회에 주로 사용하고 있다. 데이터를 분석팀에서 하둡을 주로 사용하는데, HUE에서 데이터 조회시 10만행 이상의 결과는 브라우저에 출력이 되지 않아 데이터를 다운로드 받지 못하니 해결해 달라는 요청이 있었다. 브라우저에 데이..

Death Valley (데스밸리 1박2일) – Sand dunes, Bad water, Zabriskie point - 2020년 2월 16일 2020년 2월 16일 월요일, “프레지던트 데이”로 공휴일이다. 그래서 연휴를 맞이해서 데스밸리(Death Valley)로 1박2일 투어를 다녀왔다. (정확히는 1일 투어이고 다음날은 집으로 이동만 했다.) 이 글을 쓰기전만 해도, 최대한 자세히 여행 후기를 쓰겠노라고 마음을 먹었으나, 막상 글을 쓰는 시점에서는 내 자신과의 싸움에서 이긴 당당한 나의 모습으로 처음 계획과는 완전히 다른 글이 쓰여질 것이라 생각된다. 우선 본격적인 여행 글을 쓰기에 앞서 “프레지던트데이”란 무엇인가? 인터넷 검색만 해봐도 쉽게 찾을 수 있으며 1줄 요약을 하면 ”역대 대통령을 ..