[AWS S3] AWS S3 Storage Lens

[AWS S3] AWS S3 Storage Lens

-          S3버킷의 사용량 및 활동량을 한 눈에 분석하여 비용절감 전략 세우기  

 

l  Version : AWS S3

 

Amazon S3 Storage Lens는 전체 Amazon S3 스토리지에 대한 객체 스토리지 사용량 및 활동을 한곳에서 볼 수 있게 해준다. 이러한 서비스를 사용하면 현재 보유하고 있는 S3의 수 많은 버킷에 대해서 얼마나 자주 사용하는지, 그리고 얼만큼의 용량을 사용하는지 쉽게 파악할 수 있다. 이렇게 수집된 데이터를 잘 활용하면 어떤 객체가 미사용 중인지, 사용량이 큰 객체는 무엇인지 등을 쉽게 분석하여 관리의 편의성 뿐만 아니라 최종적으로는 비용 절감까지의 전략을 세울 수 있다. S3 Storage Lens에는 조직, 계정, 리전, 버킷 또는 접두사 수준에서 모니터링이 가능하다.

 

l  Amazon S3 Storage Lens 대시보드 생성하기 : https://aws.amazon.com/ko/blogs/korea/s3-storage-lens/

 

S3 Storage Lens는 사용량과 활동이라는 두 가지 유형의 스토리지 지표를 제공한다.

l  사용량 지표는 스토리지의 크기, 수량 및 특성을 설명한다. 여기에는 저장된 총 바이트 수, 객체 수 및 평균 객체 크기가 포함되며, 암호화된 바이트 수, 삭제 마커 객체 수 등의 기능 사용률을 설명하는 지표도 포함된다.

l  활동 지표는 스토리지 요청 빈도에 대한 세부 정보를 설명한다. 여기에는 유형별 요청 수, 업로드 및 다운로드 바이트, 오류 등이 포함된다.

 

S3 Storage Lens 계정 스냅샷은 기본 대시보드의 지표를 요약하여 S3 콘솔 홈(버킷) 페이지에 총 스토리지, 객체 수 및 평균 객체 크기를 표시한다. 이렇게 하면 버킷 페이지에서 나가지 않고도 스토리지에 대한 정보를 빠르게 확인할 수 있다. 대시보드를 사용하여 인사이트와 추세를 시각화하고, 이상치에 표시하고, 스토리지 비용 최적화와 데이터 보호 모범 사례 적용을 위한 권장 사항을 수신할 수 있다.

 

Amazon S3 Storage Lens는 사용량 및 활동 데이터를 Amazon S3 버킷에 CSV 또는 Parquet 형식으로 다운로드할 수 있도록 지표 내보내기 서비스를 제공한다. 지표 내보내기를 위한 S3 버킷은 S3 Storage Lens 구성과 동일한 리전에 있어야 한다. 대시보드 구성을 편집하거나 AWS CLI 및 SDK를 사용하여 S3 콘솔에서 S3 Storage Lens 지표 내보내기를 생성할 수 있다.

l  AWS CLI를 사용한 Amazon S3 Storage Lens 예제 : https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/S3LensCLIExamples.html

l  SDK for Java를 사용하는 Amazon S3 Storage Lens 예제 : https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/S3LensJavaExamples.html

 

S3 Storage Lens는 몇 가지 특징이 있는데, 간략히 정리하면 아래와 같다.

l  S3 Storage Lens에서 홈 리전당 최대 50개의 대시보드를 생성할 수 있다.

l  대시보드를 비활성화하면 더 이상 업데이트되지 않으며, 사용자는 더 이상 새로운 일일 지표를 수신하지 않는다. 만료 기간 내에 대시보드를 다시 활성화면 데이터를 수신할 수 있다.

l  대시보드를 삭제하면 모든 대시보드 구성 설정이 손실된다. 사용자는 더 이상 새로운 일일 지표를 수신하지 않으며 해당 대시보드와 연결된 기록 데이터에도 액세스할 수 없게 된다.

l  삭제된 대시보드의 기록 데이터에 액세스하려면 동일한 홈 리전에서 동일한 이름의 다른 대시보드를 만들어야 한다.

l  조직 수준의 대시보드는 리전 범위로만 제한할 수 있다.

 

Amazon S3 Storage Lens 지표는 최대 15개월 동안 보존된다. 무료 지표의 경우 대시보드에는 최대 14일 까지의 지표를 표시할 수 있다. 이렇게 저장된 지표는 과거 추세를 확인하고 시간 경과에 따른 스토리지 사용량과 활동의 차이를 비교할 수 있다.

Amazon S3 Storage Lens에는 콜아웃이라고 하여 추가 주의나 모니터링이 필요할 수 있는 기간 동안 스토리지 사용량 및 활동 내에서 이상 현상에 대해서 알려주는 기능이 있다.

l  이상 콜아웃 : 최근 30일 추세를 기반으로 이상인 지표에 대해서 콜 아웃을 제공한다. 이때 표준 점수 계산법을 사용하는데, 현재 날짜의 지표를 기준으로 30일 평균에서 뺀 후 지난 30일 동안 해당 지표에 대한 표준 편차로 나누어 점수가 +/- 2범위를 벗어나는 경우(정규 분포 95% 보다 높거나 낮음) 이상으로 간주한다.

l  중요한 변경 콜아웃 : 자주 변경되지 않을 것으로 예상되는 지표에 적용하여 전날, 전주 또는 전월과 비교하여 +/-20% 범위에 있을 경우 이상으로 간주한다.

 

콜 아웃을 수신하였다고 하여 반드시 문제가 되는 것은 아니다. 미리 계획된 운영에도 임계치를 초과할 경우 이상으로 판단되기 때문이다. 예를 들어 계획된 작업으로 많은 수의 새 객체를 추가 또는 삭제한 경우에도 이상으로 감지되어 콜 아웃을 수신할 수 있다.

콜아웃 외에도, 가장 큰 S3 버킷 식별, 불완전한 멀티파트 업로드 내역, 최신이 아닌 버전 내역,  S3 콜드 버킷 내역 등을 확인하여 불필요한 스토리지 사용을 예방하여 비용을 절약할 수 있다. 자세한 내용은 아래 스토리지 비용 최적화 부분을 참고 할 수 있도록 한다.

l  Amazon S3 Storage Lens를 사용한 스토리지 비용 최적화 : https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage-lens-optimize-storage.html

 

 

[참고자료]

l  https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage_lens_basics_metrics_recommendations.html

l  https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage_lens.html

l  https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage-lens-optimize-storage.html

l  https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/storage_lens_console_creating.html

l  https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/S3LensJavaExamples.html

l  https://aws.amazon.com/ko/blogs/korea/s3-storage-lens/

 

 

 

2022-03-28 / Sungwook Kang / http://sungwookkang.com

 

 

AWS S3, S3 Storage Lens, 스토리지 비용 최적화, S3 버킷 사용량 모니터링, S3 비용 최적화, S3 관리