본문 바로가기

Data Engineering

[AWS DEA] 문제로 공부하기 8 - Spectrum + S3 Glacier Deep Archive AWS DEA-C01데이터 엔지니어Redshift SpectrumS3 Glacier · 수명주기비용 최적화 Redshift 데이터 수명주기 비용 최적화 — Spectrum + S3 Glacier Deep Archive가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 데이터 수명주기 비용 최적화 문제입니다. 최근 3개월은 Redshift에서 활성 분석, 3~12개월은 S3 + Redshift Spectrum으로 연간 분석, 12개월 이후는 S3 Glacier Deep Archive로 규정 준수 보관하는 3단계 수명주기 아키텍처를 도식으로 비교 정리합니다. Redshift Spectrum이 접근할 수 없는 스토리지 등급도 함께 정리.. 더보기
[AWS DEA] 시험 합격을 위한 완전 가이드2 (feat.Claude Sonnet 4.6) 🎯 AWS 자격증 가이드 2025AWS DEA 완벽 정리서비스 60개 + 문제 패턴 30개 + 3일 합격법Data Engineer Associate(DEA-C01) 시험에 나오는 모든 용어를 실생활 비유로 이해하고, 60개 서비스 구조 지도와 문제 유형 30패턴, 3일 합격 공부법까지 한 번에 정리합니다.📅 DEA-C01 기준 ⏱ 읽기 약 15분 🧠 난이도 ★★★☆☆ ✍️ 이현📋 목차시험 기본 정보 한눈에AWS 용어, 실생활 비유로 이해하기시험에 나오는 60개 서비스 전체 지도반복 출제 문제 유형 30가지 패턴3일 만에 합격하는 공부법00 / Exam Info시험 기본 정보 한눈에 DEA-C01 스펙을 먼저 파악해야 공부 전략이 잡힌다.65문제 수130분시험 시간720합격 점수 /1000$150응.. 더보기
[AWS DEA] 시험 합격을 위한 완전 가이드1 (feat.Gemini Pro 3.1) AWS DEA-C01 완벽 대비AWS Data Engineer Associate 시험핵심 서비스와 문제 패턴으로 합격하는 가이드AWS Data Engineer Associate(DEA-C01) 시험을 준비하는 분들을 위해 핵심 데이터를 실생활 비유로 설명하고, 시험에 자주 등장하는 문제 패턴과 아키텍처 흐름을 한 번에 정리했습니다.💡 합격 관점 핵심 프레임데이터가 들어온다 → 저장한다 → 정제한다 → 분석한다 → 보호한다.서비스 이름보다 “언제 무엇을 고르는가”가 더 중요합니다.문제는 대부분 성능·비용·운영성·보안의 균형을 묻습니다.1️⃣ AWS DEA 핵심 용어 정리 (실생활 비유)시험에서 서비스 이름을 보고 바로 기능이 떠오르지 않으면 선택지가 흔들립니다. 자주 나오는 서비스를 “현실 세계 역할”로.. 더보기
[AWS DEA] 문제로 공부하기 7 - 데이터 공유 + Redshift 서버리스 AWS DEA-C01데이터 엔지니어Redshift · 비용 최적화데이터 공유 · 서버리스 Redshift 테스트 환경 비용 최적화 — 데이터 공유 + 서버리스가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Redshift 비용 최적화 문제입니다. 2주마다 단 2시간만 사용하는 테스트 Redshift 환경을 가장 비용 효율적으로 구성할 때, 데이터 공유 + 서버리스 / S3 언로드 + Glue / Spectrum / 스냅샷 복원 4가지 방식의 비용 구조를 도식으로 비교 정리합니다. 📋 문제Amazon Redshift 클러스터를 운영 중인 회사가 있다. 데이터 엔지니어는 별도의 테스트 환경에서 분석 자료를 얻을 수 있도록 .. 더보기
[AWS DEA] 문제로 공부하기 6 - Firehose + Lambda AWS DEA-C01데이터 엔지니어스트리밍 · FirehoseParquet 변환최소 운영 오버헤드 실시간 로그 수집 → Parquet 변환 → S3 — Firehose + Lambda가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 스트리밍 ETL 문제입니다. 여러 애플리케이션의 로그를 중앙 집중식으로 수집하면서 Apache Parquet으로 변환해 S3에 거의 실시간 전달해야 할 때, Firehose / Kinesis Data Streams / Glue ETL / EMR Hive 중 최소 운영 오버헤드로 요구사항을 충족하는 솔루션을 도식과 함께 비교 정리합니다. 📋 문제 전자 상거래 회사가 AWS에서 여러 애플리케이션을.. 더보기
[AWS DEA] 문제로 공부하기 5 - Lambda + EventBridge AWS DEA-C01데이터 엔지니어서버리스 · 스케줄러최소 운영 오버헤드 온프레미스 크론(cron) → AWS 마이그레이션 — Lambda + EventBridge가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 스케줄링 마이그레이션 문제입니다. 온프레미스 크론으로 매일 실행하던 Python 스크립트를 최소 운영 오버헤드로 AWS에 이전할 때, CloudShell / Lambda / EC2 / EventBridge 중 무엇을 선택해야 하는지 도식과 운영 오버헤드 비교로 정리합니다. (복수 정답 유형) 📋 문제 한 컨설턴트 회사가 클라우드 기반 시간 추적 시스템의 REST API에서 전날 레코드를 CSV로 가져오는.. 더보기
[AWS DEA] AWS 아키텍처 플로우차트 (Architecture Flowchart) AWS 데이터 아키텍처 플로우차트 — 6가지 케이스AWS Data Engineer Associate 시험에 나오는 핵심 아키텍처 패턴을 케이스별로 정리한 플로우차트이다. 배치 ETL 파이프라인, 실시간 스트리밍 파이프라인, 레이크하우스 Bronze Silver Gold, ML 모델 학습 서빙, 데이터 거버넌스 보안 아키텍처, CDC DB에서 DW 마이그레이션 6가지 아키텍처를 박스와 화살표 흐름으로 도식화했다.포함된 AWS 서비스Kinesis Data Streams, Kinesis Firehose, Kinesis Data Analytics, AWS Glue, AWS Glue Crawler, AWS Glue Data Catalog, Amazon EMR, Amazon Athena, Amazon Redshif.. 더보기
[AWS DEA] 문제로 공부하기 4 - 노드 RAM 볼륨 AWS DEA-C01데이터 엔지니어EKS · 컨테이너 스토리지최소 지연 EKS 컨테이너 임시 스토리지 최소 지연 — 노드 RAM 볼륨이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 EKS 스토리지 선택 문제입니다. 컨테이너가 독립적으로 데이터를 변환하면서 변환 완료 전 중간 데이터를 최소 지연(Minimum Latency)으로 저장해야 할 때, RAM 임시 볼륨 / DAX / NFS PersistentVolume / MemoryDB 중 무엇이 최선인지 도식과 함께 비교 정리합니다. 📋 문제 데이터 엔지니어가 Amazon EKS에서 관리하는 컨테이너의 데이터를 변환하는 애플리케이션을 설계하고 있다. 컨테.. 더보기

티스토리툴바