본문 바로가기

Post

[AWS DEA] 문제로 공부하기 18 - S3-IA + Glacier Flexible Retrieval + 삭제 AWS DEA-C01S3 수명주기Glacier Flexible비용 최적화데이터 보존 정책 S3 데이터 수명주기 3단계 — S3-IA + Glacier Flexible Retrieval + 삭제 조합이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 S3 수명주기 비용 최적화 문제입니다. 0~3년 온라인 + SQL 분석 가능, 3~10년 12시간 내 복구, 10년 후 삭제 요건을 S3 Infrequent Access → Glacier Flexible Retrieval → 삭제 3단계로 구성하는 이유와, Glacier Deep Archive(12시간 초과), Intelligent-Tiering(패턴 알려진 경우 비적합), RDS 스냅샷(Glacier .. 더보기
[AWS DEA] 문제로 공부하기 17 - Glue DPU 적정 용량 결정 AWS DEA-C01AWS GlueDPU 모니터링작업 실행 모니터링성능 최적화 AWS Glue DPU 적정 용량 결정 — 작업 실행 모니터링 섹션이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Glue 모니터링 문제입니다. DPU(데이터 처리 단위) 적정 용량을 결정하려면 AWS Glue 콘솔의 작업 실행 모니터링 섹션에서 이전 실행의 프로파일링 지표를 시각화해야 합니다. CloudWatch 지표·Logs Insights·시각화 ETL 섹션이 DPU 용량 결정에 부족한 이유를 함께 정리합니다. 📋 문제 회사가 AWS Glue를 사용하여 레코드를 처리하는 데이터 파이프라인을 배포했다. 레코드에는 JSON 이벤트와 base.. 더보기
[AWS DEA] 문제로 공부하기 16 - Redshift SUPER 타입 + PartiQL AWS DEA-C01Amazon RedshiftSUPER 타입PartiQL중첩 JSON 쿼리 중첩 JSON + 기존 테이블 무결성 유지 — Redshift SUPER 타입 + PartiQL이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Redshift 데이터 타입 문제입니다. 중첩 JSON 데이터를 기존 Redshift 테이블 구조를 변경하지 않고 쿼리하려면 SUPER 데이터 타입으로 로드 후 PartiQL로 쿼리하는 방법이 최적입니다. Redshift Spectrum(SQL 한계), Glue 평면화(스키마 변경), Glue Studio 노트북(고가용성 부재)이 탈락하는 이유를 비교 정리합니다. 📋 문제 한 ISP에서는 최근 고.. 더보기
[AWS DEA] 문제로 공부하기 15 - IAM 서비스 역할(Role) AWS DEA-C01AWS GlueIAM 서비스 역할IAM 정책ETL 파이프라인 AWS Glue ETL에 S3 권한 부여 — IAM 서비스 역할(Role)이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 IAM 권한 부여 패턴 문제입니다. AWS 서비스(Glue)에 다른 AWS 리소스(S3) 접근 권한을 부여할 때는 IAM 사용자·액세스 키가 아닌 IAM 서비스 역할(Service Role)을 사용해야 합니다. 리소스 정책과 IAM 역할의 차이, 정책을 직접 연결할 수 없는 이유도 함께 정리합니다. 📋 문제 데이터 엔지니어가 AWS Glue ETL 파이프라인을 새 계정에 배포하고 있다. 파이프라인은 소스 S3 버킷에서 원.. 더보기
[AWS DEA] 문제로 공부하기 14 - SQS 대기열 메시지 제거 AWS DEA-C01Amazon SQS메시지 지속성DeleteMessage · DLQ SQS 대기열에서 메시지를 제거하는 이벤트 3가지 — DeleteMessage · maxReceiveCount · 대기열 삭제 AWS DEA-C01 시험에 자주 나오는 SQS 메시지 지속성 문제입니다. SQS에서 메시지를 영구 제거하는 이벤트는 DeleteMessage API 호출, maxReceiveCount 도달(DLQ 이동), 대기열 자체 삭제 세 가지입니다. ReceiveMessage 호출과 가시성 시간 제한 만료가 메시지를 삭제하지 않는 이유를 함께 비교 정리합니다. 📋 문제 한 데이터 엔지니어가 변환할 데이터를 Amazon SQS 대기열에 추.. 더보기
[AWS DEA] 문제로 공부하기 13 - Macie + EventBridge AWS DEA-C01Amazon MacieAmazon EventBridgePII 감지데이터 마스킹최소 운영 오버헤드 S3 PII 자동 감지 → 즉시 마스킹 호출 — Amazon Macie + EventBridge가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 데이터 보안 자동화 문제입니다. S3에 저장된 신규·기존 데이터의 PII(개인 식별 정보)를 자동 감지하고 마스킹 애플리케이션을 즉시 호출하는 솔루션으로 Amazon Macie + EventBridge 이벤트 규칙이 정답인 이유를 Lambda 수동 구현, S3 알림 방식과 비교하여 도식으로 정리합니다. 📋 문제 회사가 Amazon S3 데이터 레이크를 사용하며, .. 더보기
[AWS DEA] 문제로 공부하기 12 - IteratorAgeMilliseconds 높은 경우 해결책 AWS DEA-C01Kinesis Data StreamsAWS Lambda스트리밍 성능 최적화IteratorAge Kinesis + Lambda IteratorAgeMilliseconds 높음 — 샤드 증가 · 병렬화 인자 · Enhanced Fan-Out으로 해결 AWS DEA-C01 시험에 자주 나오는 Kinesis + Lambda 스트리밍 성능 문제입니다. IteratorAgeMilliseconds가 피크 시간대에 높아지는 원인을 진단하고, 샤드 수 증가 · 병렬화 인자(Parallelization Factor) 튜닝 · Enhanced Fan-Out 등록으로 해결하는 방법을 예약 동시성·프로비저닝 동시성과 비교하여 도식으로 정리합니다. 📋.. 더보기
[AWS DEA] One Page Study Guide (ChatGPT vs. Gemini vs. Claude ChatGPT 5.4Gemini Pro 3.1Claude Sonnet 4.6 더보기