AWS Glue DPU 적정 용량 결정 — 작업 실행 모니터링 섹션이 정답인 이유
AWS DEA-C01 시험에 자주 나오는 Glue 모니터링 문제입니다. DPU(데이터 처리 단위) 적정 용량을 결정하려면 AWS Glue 콘솔의 작업 실행 모니터링 섹션에서 이전 실행의 프로파일링 지표를 시각화해야 합니다. CloudWatch 지표·Logs Insights·시각화 ETL 섹션이 DPU 용량 결정에 부족한 이유를 함께 정리합니다.
📋 문제
회사가 AWS Glue를 사용하여 레코드를 처리하는 데이터 파이프라인을 배포했다. 레코드에는 JSON 이벤트와 base64 인코딩 이미지가 포함될 수 있다. 현재 Glue 작업은 10 DPU로 구성되었으나, 정기적으로 수백 DPU로 확장되고 실행 시간이 오래 걸린다.
데이터 엔지니어는 데이터 파이프라인을 모니터링하여 적절한 DPU 용량을 결정해야 한다.
다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?
✅ 핵심 요구사항 분석
-
이전 실행 데이터 기반으로 적정 DPU 결정
현재 10 DPU → 수백 DPU로 자동 확장되는 원인 파악 후 최적값 설정 필요 -
DPU 사용률 프로파일링 지표 시각화
단순 로그·메트릭이 아닌 DPU 사용 패턴을 시각적으로 분석할 수 있는 도구 필요
💡 DPU(Data Processing Unit)란?
AWS Glue 작업의 컴퓨팅 용량 단위입니다. 1 DPU = 4 vCPU + 16GB 메모리. 작업 복잡도와 데이터 볼륨에 따라 자동 스케일링되며, 너무 낮으면 처리 지연, 너무 높으면 불필요한 비용이 발생합니다. 이전 실행의 실제 DPU 사용 패턴을 분석하는 것이 적정값 결정의 핵심입니다.
🖥️ AWS Glue 콘솔 — 작업 실행 모니터링 섹션
Glue 콘솔 → Monitoring(모니터링) → Job run monitoring(작업 실행 모니터링)에서 이전 실행의 DPU 프로파일 지표를 시각화할 수 있습니다.
🔍 4가지 솔루션 비교
📝 선택지 해설
각 항목을 클릭하면 해설이 펼쳐집니다.
정답: A — Glue 콘솔 작업 실행 모니터링 섹션
DPU 용량 결정 = Glue 콘솔 Job Run Monitoring이 핵심입니다. CloudWatch 지표(C)는 일반 성능 모니터링, Logs Insights(D)는 Spark 로그 분석 목적이며, 시각화 ETL(B)은 작업 설계 도구입니다. DPU 프로파일링과 이력 시각화는 Glue 자체 모니터링 섹션에서만 통합 제공됩니다.
📊 선택지 비교 요약
| 선택지 | 도구 | 목적 | DPU 이력 조회 | DPU 결정 가능 | 결론 |
|---|---|---|---|---|---|
| A ⭐ | Glue 작업 실행 모니터링 | 실행 이력 + DPU 프로파일 | ✅ 직접 제공 | ✅ 가능 | 정답 |
| B | Glue 시각화 ETL | 작업 생성·편집 | ❌ 없음 | ❌ 불가 | 탈락 |
| C | CloudWatch 지표 | 일반 성능 지표 | ⚠️ 제한적 | ⚠️ 불충분 | 탈락 |
| D | CloudWatch Logs Insights | Spark 로그 분석 | ❌ 로그에 없음 | ❌ 불가 | 탈락 |
'Stack > AWS' 카테고리의 다른 글
| [AWS DEA] 문제로 공부하기 19 - AppFlow (0) | 2026.03.15 |
|---|---|
| [AWS DEA] 문제로 공부하기 18 - S3-IA + Glacier Flexible Retrieval + 삭제 (0) | 2026.03.15 |
| [AWS DEA] 문제로 공부하기 16 - Redshift SUPER 타입 + PartiQL (0) | 2026.03.15 |
| [AWS DEA] 문제로 공부하기 15 - IAM 서비스 역할(Role) (0) | 2026.03.15 |
| [AWS DEA] 문제로 공부하기 14 - SQS 대기열 메시지 제거 (0) | 2026.03.14 |
