본문 바로가기

Stack

[AWS DEA] 문제로 공부하기 16 - Redshift SUPER 타입 + PartiQL AWS DEA-C01Amazon RedshiftSUPER 타입PartiQL중첩 JSON 쿼리 중첩 JSON + 기존 테이블 무결성 유지 — Redshift SUPER 타입 + PartiQL이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Redshift 데이터 타입 문제입니다. 중첩 JSON 데이터를 기존 Redshift 테이블 구조를 변경하지 않고 쿼리하려면 SUPER 데이터 타입으로 로드 후 PartiQL로 쿼리하는 방법이 최적입니다. Redshift Spectrum(SQL 한계), Glue 평면화(스키마 변경), Glue Studio 노트북(고가용성 부재)이 탈락하는 이유를 비교 정리합니다. 📋 문제 한 ISP에서는 최근 고.. 더보기
[AWS DEA] 문제로 공부하기 15 - IAM 서비스 역할(Role) AWS DEA-C01AWS GlueIAM 서비스 역할IAM 정책ETL 파이프라인 AWS Glue ETL에 S3 권한 부여 — IAM 서비스 역할(Role)이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 IAM 권한 부여 패턴 문제입니다. AWS 서비스(Glue)에 다른 AWS 리소스(S3) 접근 권한을 부여할 때는 IAM 사용자·액세스 키가 아닌 IAM 서비스 역할(Service Role)을 사용해야 합니다. 리소스 정책과 IAM 역할의 차이, 정책을 직접 연결할 수 없는 이유도 함께 정리합니다. 📋 문제 데이터 엔지니어가 AWS Glue ETL 파이프라인을 새 계정에 배포하고 있다. 파이프라인은 소스 S3 버킷에서 원.. 더보기
[AWS DEA] 문제로 공부하기 14 - SQS 대기열 메시지 제거 AWS DEA-C01Amazon SQS메시지 지속성DeleteMessage · DLQ SQS 대기열에서 메시지를 제거하는 이벤트 3가지 — DeleteMessage · maxReceiveCount · 대기열 삭제 AWS DEA-C01 시험에 자주 나오는 SQS 메시지 지속성 문제입니다. SQS에서 메시지를 영구 제거하는 이벤트는 DeleteMessage API 호출, maxReceiveCount 도달(DLQ 이동), 대기열 자체 삭제 세 가지입니다. ReceiveMessage 호출과 가시성 시간 제한 만료가 메시지를 삭제하지 않는 이유를 함께 비교 정리합니다. 📋 문제 한 데이터 엔지니어가 변환할 데이터를 Amazon SQS 대기열에 추.. 더보기
[AWS DEA] 문제로 공부하기 13 - Macie + EventBridge AWS DEA-C01Amazon MacieAmazon EventBridgePII 감지데이터 마스킹최소 운영 오버헤드 S3 PII 자동 감지 → 즉시 마스킹 호출 — Amazon Macie + EventBridge가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 데이터 보안 자동화 문제입니다. S3에 저장된 신규·기존 데이터의 PII(개인 식별 정보)를 자동 감지하고 마스킹 애플리케이션을 즉시 호출하는 솔루션으로 Amazon Macie + EventBridge 이벤트 규칙이 정답인 이유를 Lambda 수동 구현, S3 알림 방식과 비교하여 도식으로 정리합니다. 📋 문제 회사가 Amazon S3 데이터 레이크를 사용하며, .. 더보기
[AWS DEA] 문제로 공부하기 12 - IteratorAgeMilliseconds 높은 경우 해결책 AWS DEA-C01Kinesis Data StreamsAWS Lambda스트리밍 성능 최적화IteratorAge Kinesis + Lambda IteratorAgeMilliseconds 높음 — 샤드 증가 · 병렬화 인자 · Enhanced Fan-Out으로 해결 AWS DEA-C01 시험에 자주 나오는 Kinesis + Lambda 스트리밍 성능 문제입니다. IteratorAgeMilliseconds가 피크 시간대에 높아지는 원인을 진단하고, 샤드 수 증가 · 병렬화 인자(Parallelization Factor) 튜닝 · Enhanced Fan-Out 등록으로 해결하는 방법을 예약 동시성·프로비저닝 동시성과 비교하여 도식으로 정리합니다. 📋.. 더보기
[AWS DEA] One Page Study Guide (ChatGPT vs. Gemini vs. Claude ChatGPT 5.4Gemini Pro 3.1Claude Sonnet 4.6 더보기
[AWS DEA] 문제로 공부하기 11 - 유지 기간 연장 + DLQ 연결 AWS DEA-C01Amazon SQS메시지 유지 기간Dead Letter Queue데이터 손실 방지 SQS 다운타임 메시지 손실 방지 — 유지 기간 연장 + DLQ 연결이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 SQS 메시지 손실 방지 문제입니다. 애플리케이션 다운타임으로 메시지가 만료·삭제되는 상황에서 메시지 유지 기간 연장(최대 14일)과 DLQ(Dead Letter Queue) 연결이 정답인 이유를, 가시성 시간 제한·지연 대기열·처리 시간 단축과 비교하여 도식으로 정리합니다. 📋 문제 한 애플리케이션에서는 Amazon SQS 대기열의 메시지를 처리한다. 애플리케이션에는 가끔 다운타임이 발생한다. .. 더보기
[AWS DEA] 문제로 공부하기 10 - Lake Formation AWS DEA-C01Lake Formation세분화 권한 제어데이터 카탈로그메타데이터 관리 중앙 메타데이터 + 셀 수준 권한 제어 — AWS Lake Formation이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 메타데이터 권한 제어 문제입니다. 데이터베이스 · 테이블 · 열 · 행 · 셀 5단계 세분화 권한을 최소 운영 오버헤드로 지원하는 서비스는 AWS Lake Formation 데이터 필터뿐입니다. Glue Data Catalog가 테이블 수준까지만 제어하는 이유, Aurora Hive Metastore와 EMR Hive의 한계를 함께 정리합니다. 📋 문제 AWS에 중앙 집중식 메타데이터 스토리지 솔루션을 배포해야 하는 .. 더보기