Data Science Lab

ZooKeeper Stat Structure · Version : Zookeeper 주키퍼(Zookeeper)의 z노드에는 몇 가지 속성이 있다. · Stat : z노드의 상태 정보를 저장 · Watcher : 세션의 상태가 변경 되었거나 관심 있는 노드의 상태변경(생성, 수정, 추가, 삭제)이 발생했을때 클라이언트가 이벤트를 받아 처리할 수 있게 하는 기능을 제공 · Atomic : z노드에 대한 데이터의 조회와 저장은 원자성을 가진다. · Persistent Node : “Persistent” 옵션으로 생성된 z노드는 주키퍼 서버의 로컬 디스크에 영구히 저장되고 클라이언트의 삭제 요청에 의해서만 삭제된다. 따라서 주키퍼 서버가 재시작 되어도 데이터는 보존된다. · Ephemeral Node : 임시노..

ZooKeeper 시간 동기화와 네임스페이스 z노드 · Version : Zookeeper 주키퍼(Zookeeper)는 하나 이상의 서버에서 수행되기 때문에 클라이언트의 처리 요청에 따라 버전 정보나, 시간정보등에 대해서 모든 주키퍼 서버가 공유해야한다. 주피커는 아래와 같은 방법으로 시간이나 버전 정보를 관리한다. · Zxid (Zookeeper Transaction Id) : 주키퍼 노드의 상태를 변경하는 요청에 대해 부여되는 트랜잭션ID로, 모든 변경 요청에 대해서 순차적으로 부여된다. zxid가 낮을 수록 먼저 요청되었다는 것을 보장한다. · Version numbers : 노드의 데이터가 변경될때 마다 버전 값이 증가. 버전에는 z노드 데이터 변경, 자식 노드의 변경, AC 변경이 있으며 각각 ..

Zookeeper 소개 · Version : Zookeeper 주키퍼(Zookeeper)는 분산 코디네이터 서비스(Distributed Coordinator Service)를 제공하는 아파치 오픈소스이다. 분산 환경에서 락, 네이밍 서비스, 클러스터 멤버십 등을 쉽게 구현할 수 있는 기능을 제공한다. (주키퍼 자체적으로 기능을 제공하지 않으며, 기능을 쉽게 만들 수 있는 메커니즘을 제공) 주키퍼를 이용하는 대표적인 사례는 아래와 같다. · 네임 서비스, 환경설정, 그룹 멤버십 · Double Barriers · 우선순위 큐 (Priority Queues) · 공유 락 제어 · 두 단계 커밋 (Tow-phased commit) · 리더 선출 주키퍼는 n개의 서버와 클라이언트 API로 구성되어 있으며, 서버..

SSRS 리포트에서 이미지 추가하기 · Version : SSRS SSRS에서 이미지를 출력하는 방법에는 3가지가 있다. · Embedded : SSRS 서버에 있는 이미지로 리포트에 표시 · Database : 데이터베이스에 저장된 이미지를 표시 · External : 외부 URL 이미지를 표시 이번 포스트에서는 외부 URL 의 이미지를 출력하는 방법에 대해서 살펴본다. 외부 URL의 이미지를 표시하기 위해서는 이미지 주소를 포함하고 있는 데이터셋이 필요하다. 필자의 경우 검색 사이트에서 검색한 로고 이미지의 주소를 사용하여 실습용 데이터셋을 만들었다. select 'Microsoft' as Name, 'https://cdn.arstechnica.net/wp-content/uploads/2012/08/..

SSRS 보고서 실행 로그 및 감사(Audit) · Version : SSRS SSRS에서 보고서가 얼마나 자주 실행되는지, 누가 또는 어떤 프로세스가 보고서를 실행하는지, 실행하는데 걸리는 시간, 보고서 매개변수에 대한 통계, 사용되지 않는 보고서등에 대한 정보가 필요할 때 SSRS의 Execution Logging 기능을 사용하여 해당 정보를 얻을 수 있다. 로깅 작동 방식은, Reporting Services 서버에서 로깅 기능을 활성화 하여 사용할 수 있다. 로깅이 활성화 되면 ReportServer 데이터베이스의 dbo.ExectionLogStorage 테이블에 행위가 기록 된다. 감사 데이터에 액세스하려면 ReportServer 데이터베이스의 ExecutionLog, ExecutionLog2,..

[Review] 2020-04-06 비개발자를 위한 데이터 스터디 (파이널) – 7 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www..

[Review] 2020-03-30 비개발자를 위한 데이터 스터디 – 7 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.faceb..

[Review] 2020-03-23 비개발자를 위한 데이터 스터디 – 7 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.faceb..

과대적합(Over fitting)과 과소적합(Under fitting) 머신러닝에서 학습과정은 패턴을 발견하기 위해 모델링을 만드는 단계라고 할 수 있다. 일반적으로 모델을 만들 때에는 데이터를, 트레이닝 데이터 (training)와 테스트 데이터(test)를 나누어 사용한다. 트레이닝 데이터를 반복적으로 학습함으로써 테스트 데이터 또는 실제 데이터와 가장 유사한 결과를 만들어 내는 것을 목표로 하고 있다. 하지만 트레이닝 데이터와 테스트 데이터가 비슷하다면 모델의 정확도는 매우 높게 나올 것이다. 하지만 모델이 복잡하다면 트레이닝 데이터와 테스트 데이터의 결과는 다르게 나타날 확률이 높다. 일반적으로 트레이닝 데이터는 실제 데이터를 샘플링 하거나 특정 패턴을 인식시키기 위한 데이터로 트레이닝 데이터에 ..

[Review] 2020-03-17 알고리즘 스터디 – 12 Week Challenge SQL Angeles는 LA 한인 IT 커뮤니티 그룹으로 다양한 IT 기술을 공부하며 회원들의 소통을 공유 합니다. 현재 다양한 스터디를 운영하고 있으며 각종 공지를 위한 포럼, 그룹채팅을 운영하고 있습니다. 커뮤니티는 회원제로 운영되고 있으며 참여의 제한은 없습니다. 스터디 참여를 원하시거나 교류를 원하시는 분은 아래 홈페이지에서 상세 내용을 확인할 수 있습니다. · 문의메일 : Leo.Sungwook.Kang@gmail.com · KAKAO : SQLMVP · SQL Angeles 공식 홈페이지 : http://SQLAngeles.com · 공식 Facebook 그룹 : https://www.facebook.com..