Data Science Lab

[AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 - 데이터 마이그레이션 시 룰 매핑 정보를 사용하여 개인 정보 및 특정 데이터 마스킹 하기 l Version : AWS DMS 데이터 저장소 간의 데이터 복제는 평가, 스키마 변환, 데이터 마이그레이션, 데이터 유효성 검사, 데이터 액세스 및 보안 정책 구현을 포함하는 복잡한 다단계 프로세스이다. 데이터가 데이터 저장소에 걸쳐 복제됨에 따라 대부분의 조직은 개인 식별 정보(PII) 또는 해당 정보에 액세스 해서는 안되는 사용자로부터 상업적으로 민감한 데이터를 보호해야하는 규정 준수 요구 사항이 있다. 이러한 복잡한 단계의 데이터 마이그레이션을 쉽게 할 수 있는 클라우드 솔루션으로 AWS DMS (Database M..

MySQL/MariaDB sql_mode 설정 변경으로 NULL 데이터 처리하기 · Version : MySQL 5.7 MS SQL Server에서 BCP를 이용하여 데이터를 탭 구분형식의 텍스트 파일로 내려받고 MySQL에서는 Bulk load(LOAD DATA INFILE)를 사용하여 데이터를 복원할때 아래와 같은 에러가 지속적으로 발생하였다. Error Code: 1366. Incorrect decimal value … 이 문제는 Decimal 컬럼에 NULL값을 입력할때 MySQL의 유효성 문제로 에러가 발생한 것이다. 해당 컬럼은 NULL 허용 컬럼임에도 불구하고 지속적으로 동일한 문제가 발생하여, 해결 방법을 찾아본 결과 아래와 같은 sql_mode 변경으로 해결할 수 있었다. SET SESS..