Data Science Lab

[AWS SCT] AWS SCT를 활용하여 이기종 데이터베이스 스키마 전환하기 - 툴을 활용하여 쉽고 빠르게 이기종 데이터베이스 호환 스키마를 만들기 l Version : AWS SCT 이전 포스팅에 AWS DMS 서비스를 소개하면서 이기종 간의 데이터 마이그레이션에 대해서 알아 보았다. AWS DMS는 이기종간의 데이터 마이그레이션 뿐만 아니라, 실시간 마이그레이션, 그리고 마이그레이션 진행과정에서 데이터 마스킹등 다양한 기술을 지원한다. l [AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 : https://sungwookkang.com/1496 그렇다면 이기종 간의 데이터 마이그레이션을 진행하기 위해서는 스미카 생성이 선행되어야 하는데, 이기종 간의 스키마 ..

[AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 - 데이터 마이그레이션 시 룰 매핑 정보를 사용하여 개인 정보 및 특정 데이터 마스킹 하기 l Version : AWS DMS 데이터 저장소 간의 데이터 복제는 평가, 스키마 변환, 데이터 마이그레이션, 데이터 유효성 검사, 데이터 액세스 및 보안 정책 구현을 포함하는 복잡한 다단계 프로세스이다. 데이터가 데이터 저장소에 걸쳐 복제됨에 따라 대부분의 조직은 개인 식별 정보(PII) 또는 해당 정보에 액세스 해서는 안되는 사용자로부터 상업적으로 민감한 데이터를 보호해야하는 규정 준수 요구 사항이 있다. 이러한 복잡한 단계의 데이터 마이그레이션을 쉽게 할 수 있는 클라우드 솔루션으로 AWS DMS (Database M..

[AWS S3] AWS S3 Storage Lens - S3버킷의 사용량 및 활동량을 한 눈에 분석하여 비용절감 전략 세우기 l Version : AWS S3 Amazon S3 Storage Lens는 전체 Amazon S3 스토리지에 대한 객체 스토리지 사용량 및 활동을 한곳에서 볼 수 있게 해준다. 이러한 서비스를 사용하면 현재 보유하고 있는 S3의 수 많은 버킷에 대해서 얼마나 자주 사용하는지, 그리고 얼만큼의 용량을 사용하는지 쉽게 파악할 수 있다. 이렇게 수집된 데이터를 잘 활용하면 어떤 객체가 미사용 중인지, 사용량이 큰 객체는 무엇인지 등을 쉽게 분석하여 관리의 편의성 뿐만 아니라 최종적으로는 비용 절감까지의 전략을 세울 수 있다. S3 Storage Lens에는 조직, 계정, 리전, 버킷 ..

[AWS MySQL] AWS JDBC Driver for MySQL - AWS JDBC 드라이버를 사용하여 장애조치 시간 단축하기 l Version : AWS MySQL, Aurora Amazon Web Service (AWS) JDBC Driver for MySQL을 사용하면 애플리케이션에서 클러스터된 MySQL 데이터베이스의 기능을 활용할 수 있다. AWS JDBC Driver for MySQL 은 오픈소스 MySQL JDBC Connector을 기반으로 제작되었기 때문에 호환 가능하다. l mysql-connector-j : https://github.com/mysql/mysql-connector-j l aws-mysql-jdbc : https://github.com/awslabs/aws-mysql..

[AWS] What is AWS Graviton processor? l Version : Amazon Web Service 이번 포스트는 AWS에서 출시하여 제공하고 있는 AWS Graviton 프로세서가 무엇인지 알아본다. Graviton 프로세서에 대한 성능 및 기존 X86 프로세서와의 벤치마크 등은 다른 자료를 참고할 수 있도록 한다. AWS Graviton은 Amazon EC2(Elastic Compute Cloud) 가상 머신 인스턴스 고객을 위해 ARM 아키텍처를 기반으로 AWS에서 2018년 출시한 서버 프로세서이다. AWS Graviton 1 프로세서는 맞춤형 실리콘과 64비트 Neoverse 코어를 특징으로 한다. 2020년 AWS Graviton2 프로세서를 출시했고. 2021년, re..

[AWS RDS] RDS Proxy - 커넥션풀을 관리하여 RDS에서 발생할 수 있는 연결 오류 및 오버헤드 방지 l Version : Amazon RDS AWS Relational Database Service(RDS)는 관리형 데이터베이스 서비스이다. RDS는 제한된 수의 커넥션 연결만 허용하는데 최근 애플리케이션의 패턴이 발전하고, 특히 서버리스 애플리케이션 에서는 많은 수의 DB 커넥션을 발생시킨다. 이렇게 제한된 숫자 이상의 커넥션 연결을 요청하게 되면 데이터베이스는 커넥션 연결 오류가 발생하고 애플리케이션은 정상적인 서비스 제공이 불가능하게 된다. 이러한 문제점을 해결하기 위해서 RDS Proxy(프록시)를 사용할 수 있다. RDS 프록시는 다른 프록시 서비스와 유사하게 작동한다. 기본적으로 ..

[AWS RDS] Modify RDS instance type - AWS RDS 인스턴스 타입 변경 (업그레이드 또는 다운그레이드) l Version : Amazon RDS AWS RDS 환경에서는 운영중인 RDS 인스턴스의 용량 증설 및 감소(Scale-Up / Scale-Down) 작업을 Management Console을 통해서 매우 간단하게 변경할 수 있다. 아래 순서에 따라 인스턴스를 변경할 수 있다. 1. 변경할 인스턴스를 선택하고 Modify버튼을 클릭한다. 2. DB Instance size 항목에서 변경할 인스턴스 타입을 선택 한다. 이 글에서는 db.r5.large 인스턴스를 db.t3.medium으로 다운그레이드 한다. 3.맨 아래 위치한 Continue 버튼을 클릭한다. 4. 변경하..

[AWS RDS] Modify RDS SQL Server Standard Edition to Enterprise Edition - AWS RDS SQL Server 스탠다드 에디션에서 엔터프라이즈 에디션으로 변경 l Version : Amazon RDS for SQL Server Microsoft SQL Server는 다양한 버전으로 제공되며 각 버전은 고유한 기능, 성능 및 가격 옵션을 제공한다. 설치하는 버전도 특정 요구사항에 따라 다르다. 일부 고객은 더 높은 메모리와 고가용성 기능을 활용하기 위해 SQL Server용 Amazon RDS Standard Edition에서 Amazon RDS Enterprise Edition으로 변경을 원할 수 있다. 이번 글은 RDS SQL Server 스탠다드 ..

[AWS Aurora] Aurora I/O Planning l Version : Aurora Amazon Aurora는 상용 데이터베이스의 성능 및 가용성과 오픈 소스 데이터 베이스의 단순성 및 비용 효율성을 결합한다. Aurora 클러스터는 공유 및 분산 Aurora 스토리지 볼륨에 연결된 하나 이상의 인스턴스로 구성된다. 이 새로운 스토리지 엔진은 관계형 데이터베이스에서 일반적으로 사용되는 기존 블록 스토리지 장치를 자동 크기 조정, 자동 복구, 로그 기반 동적 스토리지 볼륨으로 대체한다. 이 새로운 스토리지 엔진은 클라우드용으로 설계되었으므로 데이터베이스가 전통적으로 스토리지 시스템과 상호작용하는 방식에서 몇 가지 근본적인 변경이 이루어 졌다. 이 글은 기존 데이터베이스와 비교하여 Aurora에서 ..

[AWS Aurora] Aurora Storage Engine l Version : Aurora Amazon Aurora 스토리지 엔진은 한 지역의 여러 AWS 가용 영역(AZ)에 걸쳐 있는 분산 SAN 이다. AZ는 물리적 데이터센터로 구성된 논리적 데이터센터 이다. 각 AZ는 해당 지역의 다른 AZ와 빠른 통신을 허용하는 짧은 지연 시간 링크를 제외하고 다른 AZ와 격리되어 있다. Amazon Aurora의 중심에 있는 분산형 저지연 스토리지 엔진은 AZ에 의존한다. Amazon Aurora는 현재 보호 그룹이라고 하는 10GB의 논리 블록에 스토리지 볼륨을 구축한다. 각 보호 그룹의 데이터는 6개의 스토리지 노드에 복제된다. 그런 다음 이러한 스토리지 노드는 Amazon Aurora 클러스터가 있는..