소개
실무44로우코드23Python15FDE3바이브코딩2공부51AWS50OPIc1투자8시리즈소개
공부›AWS

AWS DEA-C01 아키텍처 플로우차트 (Architecture Flowchart)

2026.03.1016분

 

AWS 데이터 아키텍처 플로우차트 — 6가지 케이스

AWS Data Engineer Associate 시험에 나오는 핵심 아키텍처 패턴을 케이스별로 정리한 플로우차트이다. 배치 ETL 파이프라인, 실시간 스트리밍 파이프라인, 레이크하우스 Bronze Silver Gold, ML 모델 학습 서빙, 데이터 거버넌스 보안 아키텍처, CDC DB에서 DW 마이그레이션 6가지 아키텍처를 박스와 화살표 흐름으로 도식화했다.

포함된 AWS 서비스

Kinesis Data Streams, Kinesis Firehose, Kinesis Data Analytics, AWS Glue, AWS Glue Crawler, AWS Glue Data Catalog, Amazon EMR, Amazon Athena, Amazon Redshift, Amazon S3, AWS DMS, Amazon RDS, AWS Lambda, Amazon DynamoDB, Amazon OpenSearch, Amazon SageMaker, Amazon QuickSight, AWS Lake Formation, AWS IAM, Amazon Cognito, AWS KMS, AWS CloudTrail, Amazon Macie, Amazon CloudWatch, AWS Step Functions, Amazon MWAA

 
AWS Architecture Reference

AWS 데이터 아키텍처
케이스별 플로우차트

시험에 나오는 6가지 핵심 패턴 — 박스와 화살표로 한눈에

 
데이터 소스
 
수집 Ingestion
 
저장 Storage
 
처리/ETL
 
거버넌스
 
분석/서빙
 
ML
 
보안
 
오케스트레이션
 
CDC/마이그레이션
CASE 01
배치 ETL 파이프라인
정기 스케줄로 데이터를 수집 → 변환 → 적재하는 가장 기본적인 패턴
소스
RDS / Aurora
운영 DB (MySQL, PostgreSQL)
→
S3 Raw Upload
파일 드롭존 (CSV, JSON)
→
External API
공공데이터, SaaS
 
↓
오케
Amazon MWAA
DAG 스케줄러
(Airflow 그대로)
→
트리거
Step Functions
AWS 서비스 연결
State Machine
 
↓
수집
Glue Crawler
스키마 자동 감지
메타데이터 카탈로깅
→
Glue Data Catalog
중앙 메타데이터
Hive Metastore 역할
→
S3 Raw Zone
원본 그대로 보존
Bronze Layer
 
↓
ETL
AWS Glue ETL Job
서버리스 Spark
스키마 변환, 클렌징
→
Amazon EMR
대규모 Spark 처리
복잡한 집계/조인
→
S3 Cleansed Zone
Parquet / ORC
파티셔닝 적용
 
↓
적재
Amazon Redshift
DW 적재
COPY 명령으로 S3→DW
→
S3 Curated Zone
Gold Layer
Athena 직쿼리용
 
↓
분석
Amazon Athena
S3 직접 SQL 쿼리
스캔량만큼 과금
→
Amazon QuickSight
BI 대시보드
SPICE 인메모리 캐시
시험 포인트: Glue vs EMR 선택 기준 — 서버리스·빠른 시작이면 Glue, 클러스터 직접 튜닝·대용량이면 EMR. Redshift로 적재할 때는 S3 COPY 명령이 가장 빠름.
MWAA = 관리형 Airflow Glue Crawler = 자동 스키마 감지 S3 Raw→Cleansed→Curated Athena = 스캔량 과금
CASE 02
실시간 스트리밍 파이프라인
이벤트/로그를 실시간 수집해 즉시 처리하거나 분기해 저장하는 패턴
소스
App / Mobile
클릭스트림, 사용자 이벤트
→
IoT Sensor
실시간 센서 데이터
→
Application Log
서버 로그, 에러 로그
 
↓
수집
Kinesis Data Streams
샤드 기반 파티셔닝
최대 365일 보존
소비자가 직접 처리
vs Kafka → MSK
 
↓ 분기(Fan-out)
처리
경로 A — 실시간 분석
Kinesis Data Analytics
Apache Flink 기반
SQL 스트림 처리
 
↓
Amazon DynamoDB
집계 결과 실시간 서빙
ms 레이턴시
경로 B — 저장·배치 분석
Kinesis Firehose
자동 버퍼링 → 전달
변환 없이 적재
 
↓
S3 (Parquet 변환)
Firehose 내장 변환
파티셔닝 자동 적용
경로 C — 검색·모니터링
AWS Lambda
이벤트 트리거
가벼운 변환 처리
 
↓
Amazon OpenSearch
로그 검색 & 시각화
Kibana 대시보드
 
↓ (배치 분석 경로)
분석
Amazon Athena
S3 데이터 SQL 분석
임시 쿼리
→
Amazon QuickSight
실시간 대시보드
이상 탐지 시각화
핵심 구분: Kinesis Data Streams = 소비자가 직접 처리, 보존·재처리 가능. Kinesis Firehose = 전달 자동화, 소비자 코드 불필요. Kinesis Data Analytics = Streams에서 읽어 실시간 SQL/Flink 처리.
Streams ≠ Firehose (구분 필수) Flink = Data Analytics Firehose → S3 자동 전달 DynamoDB = 실시간 서빙 DB
CASE 03
레이크하우스 — Bronze → Silver → Gold
내가 직접 Iceberg로 짰던 그 구조, AWS로 치환한 버전
소스
공공 API
배치 수집
→
계열사 DB
DMS or JDBC
→
파일 업로드
CSV, Excel
→
실시간 이벤트
Kinesis → Firehose
 
↓ 원본 그대로 적재
BRONZE
S3 Raw Zone
원본 무결성 보존
절대 수정 금지
→
Glue Data Catalog
메타데이터 등록
Crawler 자동 실행
→
Lake Formation
테이블 등록
접근 권한 부여
 
↓ 정제·변환 (Glue ETL / EMR)
SILVER
AWS Glue ETL
스키마 변환
NULL 처리, 중복 제거
→
Amazon EMR
대규모 Spark
복잡한 조인·집계
→
S3 Cleansed Zone
Parquet + Partitioning
Iceberg 테이블 포맷
→
Glue Catalog
업데이트
새 스키마 반영
계보 추적
 
↓ 비즈니스 로직 적용 (집계·지표)
GOLD
S3 Curated Zone
집계·지표 완료
Athena 서빙용
→
Amazon Redshift
DW 적재
복잡한 BI 쿼리
 
↓ 소비
서빙
Amazon Athena
S3 임시 분석
데이터 과학자
→
Amazon QuickSight
경영진 대시보드
Self-Service BI
→
SageMaker Studio
ML 피처 엔지니어링
모델 학습 데이터
내 Iceberg 스택 → AWS 치환: Iceberg 테이블 포맷 = S3 + Glue Catalog + Lake Formation 조합. Trino = Athena, Doris = Redshift, DataHub = Glue Catalog. Bronze는 절대 수정하지 않고, Silver에서 품질 보증, Gold에서 비즈니스 로직 완성.
Iceberg = S3+Glue+LakeFormation Lake Formation = 행/열 단위 권한 Bronze 원본불변 원칙 Trino 자리 = Athena
CASE 04
ML 모델 학습 · 서빙 파이프라인
데이터 준비부터 프로덕션 배포까지 — SageMaker 중심 MLOps
데이터
S3 Gold Zone
Feature 엔지니어링 완료
학습 데이터셋
→
SageMaker Feature Store
피처 재사용
온라인/오프라인 저장
 
↓
개발
SageMaker Studio
JupyterLab IDE
내 JupyterHub 자리
→
SageMaker Experiments
실험 추적
내 MLflow 자리
 
↓ 학습 Job 제출
학습
SageMaker Training Job
분산 GPU 클러스터
자동 스케일 후 종료
→
SageMaker Pipelines
MLOps 워크플로우
자동화 재학습
→
S3 모델 아티팩트
model.tar.gz 저장
버전별 보관
 
↓ 모델 등록
등록
SageMaker Model Registry
버전 관리, 승인 워크플로우
A/B 비교
→
✓
승인(Approve)
프로덕션 배포 승인
Staging → Prod
 
↓ 배포 (분기)
서빙
실시간 추론
SageMaker Real-time Endpoint
내 Kserve/Triton 자리
ms 레이턴시
 
↓
API Gateway + Lambda
외부 서비스 연동
인증·라우팅
배치 추론
SageMaker Batch Transform
대량 데이터 일괄 추론
비동기 처리
 
↓
S3 결과 저장
추론 결과 파일 출력
Athena로 분석
벡터 검색
임베딩 생성
텍스트/이미지 벡터화
SageMaker Endpoint
 
↓
OpenSearch k-NN
내 Milvus 자리
유사도 검색
내 스택 치환 요약: MLflow → SageMaker Experiments, JupyterHub → Studio, Kserve/Triton → Real-time Endpoint, Milvus → OpenSearch k-NN. SageMaker 하나가 MLflow + Jupyter + Kserve 역할을 모두 통합.
MLflow = SageMaker Experiments Kserve = Real-time Endpoint Milvus = OpenSearch k-NN Pipelines = MLOps 자동화
CASE 05
데이터 거버넌스 · 보안 아키텍처
누가, 어떤 데이터에, 어떻게 접근하는지 제어하는 전체 레이어
신원
AWS IAM
AWS 리소스 권한
역할(Role) 기반 접근
+
Amazon Cognito
앱 사용자 인증
내 Keycloak 자리 (SSO)
→
AWS Lake Formation
데이터 레이크 통합 권한
행·열 수준 접근 제어
 
↓ 접근 승인된 사용자만
카탈로그
Glue Data Catalog
중앙 메타데이터 저장소
내 DataHub 자리
→
데이터 검색 & 계보
테이블 정의, 파티션
컬럼 통계 자동 수집
→
태그 기반 접근 제어
Lake Formation 태그
민감도 레벨 분류
 
↓
암호화
AWS KMS
암호화 키 중앙 관리
키 로테이션 자동화
→
S3 SSE-KMS
서버사이드 암호화
버킷 정책 강제
→
Redshift 암호화
DW 저장 데이터 암호화
전송 중 TLS
 
↓
탐지
Amazon Macie
S3 내 PII 자동 탐지
개인정보 위험 알림
→
AWS Security Hub
보안 경고 통합
규정 준수 점수
→
자동 대응 (Lambda)
마스킹·격리 자동화
EventBridge 트리거
 
↓
감사
AWS CloudTrail
모든 API 호출 기록
"누가 무엇을 했는가"
→
Amazon CloudWatch
메트릭·로그·알람
내 Grafana+Prometheus
→
AWS X-Ray
분산 추적
내 Kiali 자리
시험 포인트: CloudTrail = API 감사 로그 (누가 뭘 했는가). CloudWatch = 운영 모니터링 (CPU, 메모리, 알람). Macie = S3 PII 자동 탐지. Lake Formation = Glue Catalog 위에 행·열 단위 권한 추가.
CloudTrail = 감사 (Who Did What) CloudWatch = 운영 모니터링 Lake Formation = 열 단위 권한 Macie = PII 자동 탐지
CASE 06
CDC / DB → DW 마이그레이션
운영 DB 변경분을 실시간으로 잡아 DW에 반영하는 패턴 (DMS 기반)
소스 DB
RDS MySQL / PostgreSQL
운영 트랜잭션 DB
binlog / WAL 활성화 필요
→
On-prem Oracle / SQL Server
레거시 DW
마이그레이션 대상
→
Amazon Aurora
AWS 관리형 RDB
소스로도 타깃으로도
 
↓ DMS 연결 (Full Load + CDC 동시)
DMS
AWS DMS
Database Migration Service
초기 Full Load + CDC 병행
→
CDC 변경 캡처
INSERT / UPDATE / DELETE
binlog 기반 실시간 추적
SCT 도구로
스키마 변환
 
↓ 분기 (타깃 선택)
타깃
경로 A — DW 직접 적재
Amazon Redshift
DMS 직접 타깃
Full Load 후 CDC 적용
 
↓
QuickSight
마이그레이션 완료 후
BI 즉시 연결
경로 B — S3 경유 레이크하우스
S3 Landing Zone
DMS → S3 원본 보존
Parquet 변환 전
 
↓
Glue ETL
타입 변환, 정규화
Redshift 스키마 맞춤
 
↓
Amazon Redshift
COPY로 S3→DW 고속 적재
경로 C — 실시간 CDC 스트림
Kinesis Data Streams
DMS CDC → Kinesis
실시간 변경분 스트리밍
 
↓
Lambda / Glue Streaming
변경분 실시간 처리
Upsert 로직 적용
 
↓
Redshift Streaming Ingestion
Kinesis → Redshift 직접
지연 수초 이내
 
↓ 검증 & 모니터링
검증
✓
DMS 검증 태스크
소스 ↔ 타깃 행 수 비교
데이터 정합성 체크
→
CloudWatch 메트릭
CDC 지연 시간 모니터링
에러율 알람 설정
→
컷오버 계획
트래픽 전환 시점 결정
롤백 플랜 준비
시험 포인트: DMS = DB 마이그레이션 + CDC 동시 가능. SCT(Schema Conversion Tool) = 이기종 DB 스키마 변환 (Oracle→Redshift). 동종 DB 마이그레이션(MySQL→Aurora)은 SCT 불필요. CDC는 binlog(MySQL) 또는 WAL(PostgreSQL) 활성화 필수.
DMS = 마이그레이션 + CDC SCT = 이기종 스키마 변환 CDC → Kinesis → 실시간 반영 동종 DB = SCT 불필요

함께 읽을 글

댓글