Data Science Lab

[AWS S3] Amazon s3 연결 URI 형식(s3://, s3a://, s3n://)에 다른 차이점은 무엇일까?

l  Version : AWS Simple Storage Service(S3)

AWS에서 제공하는 스토리지 서비스에는 Amazon S3(Simple Storage Service)라고 불리는 오브젝트 스토리지가 있다. Amazon S3는 여러 사용 사례에 맞춰 다양한 스토리지 클래스를 제공한다. 예를 들어 자주 액세스 하기 위해 미션 크리티컬 프로덕션 데이터는 S3 Standard에 저장하고, 액세스 빈도가 낮은 데이터는 S3 Standard-IA 또는 S3 One Zone-IA에 저장하여 비용을 절감하고, S3 Glacier Flexible Retrieval 및 S3 Glacier Deep Archive에 가장 낮은 비용으로 데이터를 보관할 수 있다. 또한 액세스 패턴을 예측할 수 없거나 자주 변경되는 경우 S3 Intelligent-Tiering에 저장하면 액세스 패턴에 따라 자동으로 4계의 액세스 계층 간에 데이터를 자동으로 이동하여 스토리지 비용을 최적화 할 수 있다.

Amazon S3에 버킷을 생성하고 폴더에 접근할 때 고유한 URI를 사용하게 되는데, 일반적인 URI의 형식은 s3://bucket-name/folder-name/ 형식으로 생성된다. 그런데 가끔 S3에 연결할 때 URI 형식이 조금씩 다른 s3://, s3a://, s3n:// 경우가 있다. 각 URI에 대한 차이점이 무엇인지 살펴보자. 차이점에 대해서 알아보기 전에 S3는 File System 이 아닌 Object Storage라는 점을 다시 한번 인지하고, S3에 분산 저장하는 경우 Hadoop 클라이언트를 거쳐 저장하게 된다. Hadoop는 S3N, S3A, S3 이렇게 세가지 시스템이 클라이언트를 제공한다.

S3N (URI 형식: s3n://)

l  S3에서 일반 파일을 읽고 쓰기 위한 기본 파일 시스템

l  안정적이며 널리 알려져 있지만 현재 업데이트가 중단된 상태

l  다른 도구로 작성된 S3의 파일에 액세스가능. 반대로 다른 도구는 Hadoop을 사용하여 작성된 파일에 액세스 가능

l  S3에서 저장할 수 있는 단일 파일 크기에 대한 5GB 제한있음

S3A (URI 형식: s3a://)

l  S3 Native인 s3n fs의 후속

l  Amazon의 라이브러리를 사용하여 S3와 상호 작용

l  S3a는 더 큰 파일(5GB 제한 없음), 고성능 작업 등을 지원 가능

l  s3n://URL에서 액세스할 수 있는 모든 객체는 URL 스키마를 교체하는 것만으로 s3a에서도 액세스 가능

S3 (URI 형식: s3://)

l  S3가 지원하는 블록 기반 파일 시스템

l  파일은 HDFS에 있는 것처럼 블록으로 저장

l  이 파일 시스템을 사용하려면 파일 시스템 전용 버킷이 필요

l  파일이 포함된 기존 버킷을 사용하거나 다른 파일을 동일한 버킷에 쓰지 않아야 함

l  이 파일 시스템에 의해 저장된 파일은 5GB보다 클 수 있지만 다른 S3 도구와 상호 운용할 수 없음

AWS EMR의 경우에는 별도로 EMRFS라는 파일 시스템이 존재한다. 그래서 EMR의 S3 파일 시스템과 Hadoop에서의 S3 파일 시스템은 서로 다르기 때문에 사용할 때 주의해야 한다. 따라서 ERM의 경우 S3로 사용하는 것을 권장하고 있다. 하지만 s3a의 경우 EMRFS와 호환되지 않기 때문에 오류가 발생할 수 있다.

자체 Hadoop을 사용하면서 데이터 저장소만 Amazon S3를 사용할 경우 S3A를 사용하면 자체 하둡에서 S3의 저장소를 연결하여 객체를 직접 읽고 쓸 수 있다.  S3A의 탄생 배경에 대해 궁금하다면 아래 블로그를 참고할 수 있다.

l  Community collaboration: The S3A story : https://aws.amazon.com/ko/blogs/opensource/community-collaboration-the-s3a-story/

[참고자료]

l  What is Amazon S3 : https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html

l  Work with storage and file systems : https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-file-systems.html

l  Community collaboration: The S3A story : https://aws.amazon.com/ko/blogs/opensource/community-collaboration-the-s3a-story/

l  Enabling Amazon Simple Storage Service (Amazon S3) Access Points in Apache Hadoop S3A : https://aws.amazon.com/ko/blogs/opensource/enabling-amazon-simple-storage-service-s3-access-points-in-apache-hadoop-s3a/

2022-04-20 / Sungwook Kang / http://sungwookkang.com

AWS Simple Storage Service, S3, S3N, S3A, EMR, EMRFS

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 2/2

-          교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기

l  Version : AWS RDS for Oracle

지난 포스트에서는 AWS RDS for Oracle에서 교차 리전 자동 백업에 대한 개념에 대해서 알아 보았다.

l  [AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2 : https://sungwookkang.com/1500

이번 포스트는 교차 리전 자동 백업 Part 2로 AWS KMS로 암호화된 인스턴스를 포함하여 리전 간 자동 백업 설정 방법에 대해서 살펴본다. 자세한 내용은 원문을 참고한다.

l  Managed disaster recovery with Amazon RDS for Oracle cross-Region automated backups – Part 2 : https://aws.amazon.com/ko/blogs/database/part-2-managed-disaster-recovery-with-amazon-rds-for-oracle-xrab/

AWS Management Console 또는 AWS CLI를 통해 교차 리전 자동 백업을 설정하는 것은 간단하다. 인스턴스를 생성할 때 또는 이미 생성된 인스턴스를 간단히 수정하여 교차 리전 자동 백업을 활성화 할 수 있다.

[교차 리전 백업 활성화]

기존 인스턴스에 교차 리전 자동 백업을 추가하려면 아래 단계로 진행한다.

1.        AWS RDS에서 RDS Oracle 인스턴스를 선택하고 수정한다.

2.        백업 세션에서 로컬 지역에 대한 백업 보존 기간을 지정할 수 있다.

3.        백업 창 아래의 확인란은 복제를 활성화하고 대상 지역 및 복제된 백업 보존 기간에 대한 메뉴를 드롭다운으로 표시한다. 대상 지역의 백업 보존기간은 소스 지역에 대해 설정된 기간과 완전히 독립적이다. 각 지역은 DR 계획을 수용하기 위해 최대 35일까지 설정할 수 있다.

4.        선택을 마친 후 변경 사항을 즉시 적용할지 또는 다음 예약된 유지 관리 기간에 적용할지 선택한다.

교차 리전 복제를 지원하는 리전은 지속적으로 확대되고 있으며, 현재 리전과 복제를 지원하는 리전을 확인하려면 다음 명령을 실행한다.

아래 그림은us-west-2 리전이 Amazon RDS 자동 백업 복제를 위해 us-west-1과 쌍을 이루는 것을 보여준다.

교차 리전 자동 백업은 AWS Key Management Service(AWS KMS) 키를 사용한 Amazon RDS 암호화를 완벽하게 지원한다. AWS KMS로 암호화된 인스턴스에서 리전간 자동 백업을 활성화 하려면 대상 리전에 있는 기존AWS KMS키 ARN (Amazon Resource Name)을 지정하여 스냅샷 데이터를 암호화해야 한다. 워크플로에 대한 다른 변경 사항은 필요하지 않다.

로컬 리전에서 인스턴스의 자동 백업을 확인하려면 Amazon RDS 콘솔의 탐색 창에서 자동 백업을 선택하고 현재 리전 탭에서 확인한다. 이 페이지에서 교차 리전 백업을 보고 관리할 수 있다. 복제됨 탭을 선택하여 현재 보고 있는 리전에 복제된 원격 리전의 백업을 본다. 대상 지역에서 복제된 각 백업의 복원 가능한 시간 창을 보고 지정된 인스턴스에 대해 해당 창 내의 특정 시점으로 백업 복원을 시작할 수 있다. AWS CLI에서 리전 내 복원 가능 기간 및 복제된 백업 ARN을 보려면 아래 코드를 입력한다.

아래 그림은 코드를 실행했을 때 결과이다.

대상 리전에서는 이전 명령의 출력에서 얻은 자동 백업의 ARN을 지정하여 복원 창을 확인할 수 있다.

아래 그림은 코드를 실행했을 때 결과이다.

[재해 복구 연습]

RDS Oracle 인스턴스의 소스 리전을 사용할 수 없는 재해가 발생할 경우 교차 리전 스냅샷 복원은 소스 리전에서 복원하는 것과 동일한 프로세스를 따른다. Amazon RDS는 항상 백업에서 새 인스턴스로 복원한다. Amazon RDS 콘솔, AWS CLI 또는 자동화 프레임워크 내에서 API를 호출하여 복원을 시작할 수 있다.

AWS 콘솔을 사용하려면 아래 단계를 진행한다.

1.        Amazon RDS 콘솔의 탐색 창에서 자동 백업을 선택한다.

2.        복제됨 탭에서 해당 인스턴스를 선택한다.

3.        작업 메뉴에서 지정 시간으로 복원을 선택한다.

4.        작업 흐름은 원본 리전에서 복원과 동일한 흐름을 따른다. 가장 최근의 복원 가능한 시간 내에서 초 단위까지 시간을 지정할 수 있다. 최대한 많은 데이터를 복구하려면 최근 복원 가능한 시간을 선택한다.

5.        DB 인스턴스 식별자를 지정해야 하며 데이터베이스 버전, 라이선스 모델, 인스턴스 이름, 인스턴스 클래스 및 크기, 단일 또는 다중 AZ, 스토리지 옵션, 인증 등을 포함하여 복원할 인스턴스의 다양한 측면을 변경할 수 있다.

아래 코드는 위 과정과 동일한 작업을 AWS CLI로 수행한다.

교차 리전 자동 백업 기능은 또한 복원된 인스턴스의 옵션 그룹에 대한 기본 선택인 xrab-<source Region>-<source options group name>-…이라는 소스 리전에서 옵션 그룹의 복사본을 생성했다. 소스 리전에서 동일한 옵션을 유지하기 위해 다른 옵션을 그룹을 지정하거나 기본값을 둘 수 있다. 또한 RestoreDbInstanceToPointInTime RDS API를 사용하여 복원을 수행할 수 있다. Amazon RDS 가 즉시 복원 작업을 시작하고 Amazon RDS 콘솔에 새 인스턴스의 상태가 생성중으로 표시된다.

복원 작업을 완료하는데 걸리는 시간은 선택한 복원 지점에 도달하기 위해 자동화된 스냅샷 위에 적용해야 하는 아카이브된 로그의 수에 따라 크게 달라진다. Amazon RDS는 복원을 완료한 후 인스턴스를 백업한다.

잠시 후 인스턴스에 사용 가능 상태가 표시된다.

연결 및 보안 탭에서 인스턴스 끝점을 선택하고 새 인스턴스를 가리키도록 애플리케이션을 업데이트 한다. 복원이 완료되었으면 인스턴스를 트랜잭션에 사용할 수 있다. 이제 복원된 인스턴스의 자동 백업을 다른 리전에 복제하도록 선택할 수 있다.

[참고자료]

l  Managed disaster recovery with Amazon RDS for Oracle cross-Region automated backups – Part 2 : https://aws.amazon.com/ko/blogs/database/part-2-managed-disaster-recovery-with-amazon-rds-for-oracle-xrab/

2022-04-18 / Sungwook Kang / http://sungwookkang.com

AWS Oracle RDS, Automated Backup, Cross Region Backup, 교차 리전 자동 백업, DR, RTO, RPO

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2

-          교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기

l  Version : AWS RDS for Oracle

AWS에서 관리형 데이터베이스로 제공하는 RDS for Oracle을 사용하면 AWS 리전 내의 데이터베이스 인스턴스에 대한 향상된 가용성과 내구성을 얻을 수 있다. 여러 리전에 걸쳐 DR 구성을 하면 미션 크리티컬한 데이터베이스를 실행할 때 읽기 전용 RDS를 사용할 수 있어, 사용자에게 더 가까운 다른 리전에서 프로덕션 읽기에 대한 워크로드를 처리할 수 있다. 또한 스냅샷과 아카이브된 redo로그를 포함하는 Oracle용 Amazon RDS 교차 리전 자동 백업을 사용하면 낮은RPO(복구 시점 목표) 및 감소된 RTO(복구 시간 목표)로 비용 효율적인 교차 리전 DR을 구성할 수 있다.

이번 포스트는 교차 리전 자동 백업에 대해서 2회에 걸쳐 설명하며 이번 포스트에서는 Part 1으로  개념에 대해서 설명한다.  AWS RDS for Oracle에 중점을 두었지만 AWS RDS for PostgreSQL에서도 리전 간 자동 백업을 사용할 수 있다. 자세한 내용은 원문을 참고한다.

l  Managed disaster recovery with Amazon RDS for Oracle cross-Region automated backups – Part 1 : https://aws.amazon.com/blogs/database/managed-disaster-recovery-with-amazon-rds-for-oracle-cross-region-automated-backups-part-1/

교차 리전 자동 백업은 단일 리전에서 현재 Amazon RDS 백업 및 복구 자동화에 사용하는 것과 동일한 솔루션을 제공하지만 데이터베이스 인스턴스를 복원하는데 필요한 모든 데이터를 두 번째 리전에서 즉시 사용할 수 있도록 추가 보호 기능을 제공한다. 이 기능은 Amazon RDS 자동 백업 기능을 확장하여 기본 리전에서 보조 리전으로 스냅샷 및 아카이브된 redo 로그의 자동 복제를 설정할 수 있는 기능을 제공한다.

Amazon RDS for Oracle에서는 12.1(12.1.0.2 v10 부터)이상의 버전에 대해 교차 리전 자동 백업을 지원한다. 이 기능은 LI(License Included) 또는 BYOL(Bring Your Own License)모델로 Oracle Database의 모든 에디션을 사용하는 Oracle용 Amazon RDS 고객에게 지원된다. BYOL 고객은 Oracle 계약을 검토하여 이 기능의 사용이 허용되는지 확인해야한다.

교차 리전 자동 백업을 사용하면 RDS 인스턴스가 상주하는 소스 리전에서 캡처 및 보관된 스냅샷, 아카이브된 redo 로그 백업이 자동으로 두 번째 리전에 복사된다. 그런 다음 RDS는 선택한 백업 보존 기간에 따라 스냅샷 및 아카이브 된 로그를 유지관리하여 대상 리전에서 특정 시점 복원(PITR)기능을 활성화 한다.

Amazon RDS 리전 간 자동 백업을 사용하면 대상 리전에서는 원본 리전과 다른 복구 기간을 선택할 수 있다. 그리고 원본 리전의 로그가 즉시 두 번째 리전에 복사되므로 리전 간 자동 백업을 통해서 본 사이트와 장애조치 사이트를 장거리로 분리할 수 있다. 아래는 교차 리전 자동 백업에 대한 장점이다.

l  교차 리전 자동 백업은 컴퓨팅 및 경우에 따라 다른 리전에서 PITR이 필요할 때까지 라이선스 비용을 절약하는데 도움이 되는 비용 효율적인 DR 기능이 필요한 경우에 이상 적이다.

l  교차 리전 자동 백업은 리전 간에 RDS 스냅샷을 복사하는 스크립팅에 시간과 리소스가 부족하고 수동 리전 간 스냅샷 복사 보다 낮은 RPO가 필요한 경우에도 유용하다.

l  이 기능은 수동 스냅샷을 자동으로 복제하여 스냡샷이 복원된 후 적용해야 하는 redo 로그 양을 줄여 대상 리전에서 더 낮은 RTO를 제공하는데 도움이 될 수 있다.

일반 작업 중에 자동 백업을 활성화하면 Amazon RDS는 5분 간격으로 인스턴스에서 생성된 아카이브된 redo 로그 복사와 함께 정의한 백업 기간 동안 RDS DB 인스턴스 스토리지의 일일 스냅샷을 만든다. 이러한 백업은 RDS DB 인스턴스가 있는 리전의 Amazon Simple Storage Service(Amazon S3)에 저장된다. 교차 리전 자동 백업을 사용하면 이러한 동일한 스냅샷 및 아카이브된 로그가 소스 리전에서 사용 가능하게 되는 즉시 두 번째 리전에 복제된다.

스냅샷 생성은 RDS DB 인스턴스에서 5분마다 시작되기 때문에 원본 리전의 RDS 인스턴스에 대한 일반적인 RPO는 약 5~10분이다. 원격 리전의 경우 복사 시간이 더 길기 때문에 교차 리전 백업의 RPO는 소스 리전보다 10분 이상 늦게 실행될 수 있다. redo 볼륨이 높은 데이터베이스 인스턴스는 두 번째 리전의 인스턴스에 대해 가장 최근에 복원 가능한 시간에 추가 지연이 발생할 수 있다. PITR을 완료하는 데 걸리는 시간은 스냅샷이 복원된 후 적용해야 하는 redo 로그 양에 따라 크게 달라지며, 이는 교차 리전 자동 백업의 결과로 변경할 수 없는 부분이다. 리전 내 또는 리전 간 RDS 인스턴스 복원 작업에 대해 더 낮은 RTO를 달성하려는 경우 인스턴스의 수동 스냅샷을 생성하여 복원의 redo 로그 단계의 시간을 줄일 수 있다.

아래 표는 Oracle용 Amazon RDS의 다양한 HA 및 DR 기능으로 얻을 수 있는 RPO 및 RTO 지표이다.

AWS KMS 또는 Oracle TDE(투명한 데이터 암호화)로 암호화된 RDS DB 인스턴스는 다른 리전에도 복제할 수 있다. Oracle TDE가 TDE 옵션을 통해 사용 중인 경우 Amazon RDS는 TDE 키를 대상 지역에 자동으로 복사하므로 Oracle wallet도 해당 지역에서 관리될 수 있다. AWS KMS 암호화를 지원하는 교차 리전 자동 백업은 대상 리전의 기존 AWS KMS 고객 마스터 키(CMK)를 사용하여 복제된 백업을 암호화 한다.

AWS KMS 암호화를 사용하여 보호되는 RDS 인스턴스에 대해 교차 리전 자동 백업을 구현할 때 대상 리전에서 암호화 작업에 사용할 KMS 키 ARN을 지정해야 한다. 이는 Amazon RDS의 기본 KMS 키가 될 수 없지만 AWS KMS는 기본 서비스 키에 대한 교차 리전 액세스를 허용하지 않기 때문에 별도의 키여야 한다.

교차 리전 자동 백업은 리전 간에 DB 스냅샷 및 아카이브된 redo 로그를 복사하는 동안 전송된 데이터에 대해 요금이 부과된다. 기본 리전과 보조 리전 간의 데이터 전송 요금은 해당 리전의 데이터 전송 요금을 기준으로 청구되며 스냅샷이 복사된 후 대상 리전에 저장소 요금은 표준 데이터베이스 스냅샷 요금이 적용된다. 대상 리전에 아카이브된 redo 로그를 저장 하는데는 추가 요금이 부과되지 않는다. 인스턴스, 스토리지, 데이터 전송 및 지역별 가용성에 대한 최신 요금은 Oracle용 Amazon RDS 요금을 참고한다.

l  Amazon RDS for Oracle pricing : https://aws.amazon.com/rds/oracle/pricing/

[참고자료]

l  Managed disaster recovery with Amazon RDS for Oracle cross-Region automated backups – Part 1 : https://aws.amazon.com/blogs/database/managed-disaster-recovery-with-amazon-rds-for-oracle-cross-region-automated-backups-part-1/

l  Amazon RDS for Oracle pricing : https://aws.amazon.com/rds/oracle/pricing/

2022-04-14 / Sungwook Kang / http://sungwookkang.com

AWS Oracle RDS, Automated Backup, Cross Region Backup, 교차 리전 자동 백업, DR, RTO, RPO

[AWS CloudWatch] CloudWatch를 활용한 SQL Server RDS 데드락 모니터링

l  Version : AWS CloudWatch, RDS for SQL Server

SQL Server를 운영할 때, 여러 성능 지표 모니터링은 필수이다. 그 중 하나가 데드락 모니터링이다. AWS RDS for SQL Server 환경에서 데드락 발생시 CloudWatch를 활용하면 특별한 서드파티 모니터링 도구가 없어도 발생 즉시 알림을 받을 수 있다.

이번 포스트는 AWS 공식 블로그 내용을 요약한 것으로 자세한 내용은 원문을 참고한다.

l  Monitor deadlocks in Amazon RDS for SQL Server and set notifications using Amazon CloudWatch : https://aws.amazon.com/blogs/database/monitor-deadlocks-in-amazon-rds-for-sql-server-and-set-notifications-using-amazon-cloudwatch/

데드락 발생시 아래와 같은 이벤트 로그를 확인할 수 있다. 이 로그는 온프레미스 SQL Server 또는 클라우드 환경에서의 SQL Server 모두 동일하다. 데드락이 발생하면 현재 실행중인 프로세스들은 모두 대기하게 되므로, SQL Server는 현재 데드락에 관련된 프로세스 중 하나를 강제로 종료시켜 이 문제를 해결한다. 그리고 아래와 같은 오류 로그를 기록한다.

AWS RDS를 사용하면 데드락을 모니터링 하고 이벤트가 발생하는 즉시 Amazon SNS(Simple Notification Service)로 알림을 보낼 수 있다. 이렇게 알림 시스템을 구성할 경우 데드락 발생에 대한 알림을 자동화하고 데드락 예방을 위한 조치를 취하는데 도움이 된다. 아래는 데드락 발생시 알림을 보내는 아키텍처이지만 데드락 뿐만 아니라 다양한 오류 로그 및 사용자 정의 이벤트를 모니터링 할 수 있다.

1.        SQL Server RDS에 대한 데드락 모니터링 감지를 활성화

2.        SQL Server 오류 로그를 CloudWatch에 게시

3.        교착 상태 이벤트를 시뮬레이션

4.        필터 패턴과 CloudWatch 경보를 생성

5.        Amazon RDS 성능 개선 도우미를 사용하여 솔루션을 모니터링

데드락 모니터링을 활성화 하기 위해서는 파라메터 그룹에서 데드락 이벤트인 1204, 1222를 선택하고 값을 1로 설정한다. 파라메터 그룹 수정 후 적용을 위해서는 RDS 인스턴스를 재시작 해야 한다.

CloudWatch가 오류 로그를 모니터링 할 수 있도록 Log exports에서 Error log항목을 선택한다. 변경 사항을 적용하려면 RDS DB 인스턴스 재시작이 필요하다.

위 설정이 완료되고 나면 CloudWatch 콘솔에서 로그가 기록되는 것을 확인할 수 있다. 로그 그룹은 /aws/rds/instance/<Your-RDS-Instance-Name>/error 형식으로 그룹화 되어 있다.

Metric filter 탭에서 데드락에 대한 이벤트를 입력한다. 이때 통계에서 최소를 선택하고 0 보다 클 경우 알림이 발생하도록 설정한다. (데드락은 1건만 있어도 알림을 받아야 한다.)

알림이 발생했을 때 수신할 이메일을 입력하여 SNS 주제를 생성하고 나면 실제 데드락 발생시 메일로 해당 알림을 받을 수 있다.

이번 포스트에서는 CloudWatch를 사용하여 SQL Server RDS에서 발생하는 데드락에 대해서만 모니터링 하였지만, 실제 SQL Server의 오류 로그에는 매우 다양한 이벤트 로그가 기록된다. 데드락 외에도 운영에 필요한 로그를 모니터링 하여 알림을 받을 수 있도록 한다.

l  SQL Server DBA 체크리스트 : https://blog.naver.com/jevida/221018122813

[참고자료]

l  Monitor deadlocks in Amazon RDS for SQL Server and set notifications using Amazon CloudWatch : https://aws.amazon.com/blogs/database/monitor-deadlocks-in-amazon-rds-for-sql-server-and-set-notifications-using-amazon-cloudwatch/

2022-04-12 / Sungwook Kang / http://sungwookkang.com

AWS SQL RDS, CloudWatch, 오류로그, 이벤트 로그, 장애알림, DB 모니터링