본문 바로가기

Post

[AWS DEA] 문제로 공부하기 6 - Firehose + Lambda AWS DEA-C01데이터 엔지니어스트리밍 · FirehoseParquet 변환최소 운영 오버헤드 실시간 로그 수집 → Parquet 변환 → S3 — Firehose + Lambda가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 스트리밍 ETL 문제입니다. 여러 애플리케이션의 로그를 중앙 집중식으로 수집하면서 Apache Parquet으로 변환해 S3에 거의 실시간 전달해야 할 때, Firehose / Kinesis Data Streams / Glue ETL / EMR Hive 중 최소 운영 오버헤드로 요구사항을 충족하는 솔루션을 도식과 함께 비교 정리합니다. 📋 문제 전자 상거래 회사가 AWS에서 여러 애플리케이션을.. 더보기
[AWS DEA] 문제로 공부하기 5 - Lambda + EventBridge AWS DEA-C01데이터 엔지니어서버리스 · 스케줄러최소 운영 오버헤드 온프레미스 크론(cron) → AWS 마이그레이션 — Lambda + EventBridge가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 스케줄링 마이그레이션 문제입니다. 온프레미스 크론으로 매일 실행하던 Python 스크립트를 최소 운영 오버헤드로 AWS에 이전할 때, CloudShell / Lambda / EC2 / EventBridge 중 무엇을 선택해야 하는지 도식과 운영 오버헤드 비교로 정리합니다. (복수 정답 유형) 📋 문제 한 컨설턴트 회사가 클라우드 기반 시간 추적 시스템의 REST API에서 전날 레코드를 CSV로 가져오는.. 더보기
[AWS DEA] AWS 아키텍처 플로우차트 (Architecture Flowchart) AWS 데이터 아키텍처 플로우차트 — 6가지 케이스AWS Data Engineer Associate 시험에 나오는 핵심 아키텍처 패턴을 케이스별로 정리한 플로우차트이다. 배치 ETL 파이프라인, 실시간 스트리밍 파이프라인, 레이크하우스 Bronze Silver Gold, ML 모델 학습 서빙, 데이터 거버넌스 보안 아키텍처, CDC DB에서 DW 마이그레이션 6가지 아키텍처를 박스와 화살표 흐름으로 도식화했다.포함된 AWS 서비스Kinesis Data Streams, Kinesis Firehose, Kinesis Data Analytics, AWS Glue, AWS Glue Crawler, AWS Glue Data Catalog, Amazon EMR, Amazon Athena, Amazon Redshif.. 더보기
[AWS DEA] 문제로 공부하기 4 - 노드 RAM 볼륨 AWS DEA-C01데이터 엔지니어EKS · 컨테이너 스토리지최소 지연 EKS 컨테이너 임시 스토리지 최소 지연 — 노드 RAM 볼륨이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 EKS 스토리지 선택 문제입니다. 컨테이너가 독립적으로 데이터를 변환하면서 변환 완료 전 중간 데이터를 최소 지연(Minimum Latency)으로 저장해야 할 때, RAM 임시 볼륨 / DAX / NFS PersistentVolume / MemoryDB 중 무엇이 최선인지 도식과 함께 비교 정리합니다. 📋 문제 데이터 엔지니어가 Amazon EKS에서 관리하는 컨테이너의 데이터를 변환하는 애플리케이션을 설계하고 있다. 컨테.. 더보기
[AWS DEA] 문제로 공부하기 3 - Lambda · EFS AWS DEA-C01데이터 엔지니어스토리지 마이그레이션Lambda · EFS 온프레미스 NFS → AWS 마이그레이션 — Lambda에서 EFS를 써야 하는 이유 AWS DEA-C01 시험에 자주 나오는 스토리지 마이그레이션 문제 유형입니다. 온프레미스 NFS 파일 공유를 AWS로 이전하면서 Lambda 함수가 NFS 프로토콜로 데이터를 공유해야 할 때, EFS / EBS / DynamoDB / Lambda 로컬 스토리지 중 무엇을 선택해야 하는지 도식과 함께 비교 정리합니다. 📋 문제 회사의 데이터가 온프레미스 NFS 파일 공유에 있다. 회사는 AWS로 마이그레이션할 계획이며, 데이터 분석에 데이터가 사용된다. .. 더보기
[AWS DEA] 문제로 공부하기 2 - SSE-KMS AWS DEA-C01데이터 엔지니어암호화 · 보안 S3 암호화 + Redshift COPY 접근 — SSE-KMS가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 암호화 문제 유형입니다. Amazon S3 데이터를 암호화하면서 동시에 Amazon Redshift COPY 명령이 해당 데이터에 접근할 수 있어야 할 때, SSE-KMS / SSE-C / 클라이언트 측 암호화 중 어떤 방식을 선택해야 하는지 도식과 함께 정리합니다. 📋 문제 한 회사에서는 Amazon S3를 사용하여 데이터를 저장하고 Amazon Redshift를 데이터 웨어하우스로 사용한다. 이 회사에서는 S3 데이터를 암호화해야 한다. .. 더보기
[AWS DEA] 실무에서 경험했던 데이터 플랫폼 스택, AWS와 매핑하기 실무에서 경험했던 데이터 플랫폼 스택, AWS로 치환하면?AWS DEA(Data Engineer Associate) 시험을 준비하면서 느낀 건, AWS 서비스 이름이 너무 많다는 것이었습니다. Kinesis, Glue, Athena, EMR, MWAA, Lake Formation... 처음 보면 뭐가 뭔지 전혀 감이 안 잡혔습니다.그런데 생각해보니 24년도에 능력자 동료들을 통해서 경험했던 온프렘 데이터 플랫폼이 있었습니다. Apache Airflow로 파이프라인을 돌리고, Spark로 대규모 ETL을 처리하고, Iceberg 기반 Bronze/Silver/Gold 레이크하우스를 구성했고, Trino로 쿼리하고, Doris를 DW로 썼던 그 시스템... DataHub로 메타데이터 관리하고, MLflow로.. 더보기
[AWS DEA] 아키텍처 플레이북 (feat. NotebookLM) DEA-C01 자격증 취득을 위한 4대 핵심 도메인을 마스터할 수 있습니다.데이터 수집부터 보안까지 아우르는 확장 가능하고 안전한 모던 데이터 플랫폼 구축 방법을 다룹니다.[Domain 1] Data Ingestion and Transformation (34%): 스트리밍 및 배치 데이터 수집, 서버리스 ETL 파이프라인을 다룹니다.[Domain 2] Data Store Management (26%): 스토리지 라이프사이클 관리, 데이터 카탈로그, 스키마 설계를 포함합니다.[Domain 3] Data Operations and Support (22%): 자동화, 데이터 품질 검증, 성능 모니터링을 검증합니다.[Domain 4] Data Security and Governance (18%): 인증, 권한 .. 더보기

티스토리툴바