본문 바로가기

Stack/AWS

AWS DEA-C01 시험 핵심 도식 AWS DEA 시험 핵심 도식AWS DEA(Data Engineer Associate, DEA-C01) 시험을 준비하면서 가장 힘들었던 건 서비스 이름이 너무 많다는 것이었습니다. Kinesis Data Streams, Kinesis Firehose, Glue, EMR, Athena, Redshift, Lake Formation, Step Functions, MWAA... 처음엔 이게 다 뭐가 다른지 전혀 감이 안 잡혔습니다. 그래서 데이터 엔지니어링 개념과 1:1로 매핑해서 정리했습니다. AWS를 몰라도 ETL 파이프라인, 데이터 레이크, 오케스트레이션, DW 같은 개념을 알면 충분히 이해할 수 있습니다.시험 도메인 비중 (DEA-C01)데이터 수집 및 변환 34%(Kinesis, Glue, DMS) .. 더보기
AWS DEA-C01 핵심 파이프라인 및 AWS 서비스 용어 매핑 [AWS DEA] 데이터 엔지니어링 핵심 파이프라인 및 AWS 서비스 용어 매핑데이터 엔지니어링의 기본 개념은 익숙하지만, AWS 환경에 처음 입문하거나 AWS Data Engineering Associate (DEA-C01) 자격증을 준비하면서 특유의 서비스 이름들 때문에 헷갈리셨던 경험이 있으신가요?데이터 파이프라인의 4단계 흐름(수집, 저장, 처리, 분석)과 오케스트레이션 영역에서 일반적인 데이터 엔지니어링 용어가 AWS의 어떤 서비스와 1:1로 매칭되는지 직관적으로 정리해 보았습니다.1. 데이터 수집 (Data Ingestion)실시간 스트리밍 데이터 수집 👉 Amazon Kinesis: 오픈소스인 Apache Kafka와 유사한 역할을 하는 AWS의 대표적인 스트리밍 서비스입니다. 데이터 보관.. 더보기

티스토리툴바