본문 바로가기

데이터 엔지니어

[AWS DEA] 문제로 공부하기 3 - Lambda · EFS AWS DEA-C01데이터 엔지니어스토리지 마이그레이션Lambda · EFS 온프레미스 NFS → AWS 마이그레이션 — Lambda에서 EFS를 써야 하는 이유 AWS DEA-C01 시험에 자주 나오는 스토리지 마이그레이션 문제 유형입니다. 온프레미스 NFS 파일 공유를 AWS로 이전하면서 Lambda 함수가 NFS 프로토콜로 데이터를 공유해야 할 때, EFS / EBS / DynamoDB / Lambda 로컬 스토리지 중 무엇을 선택해야 하는지 도식과 함께 비교 정리합니다. 📋 문제 회사의 데이터가 온프레미스 NFS 파일 공유에 있다. 회사는 AWS로 마이그레이션할 계획이며, 데이터 분석에 데이터가 사용된다. .. 더보기
[AWS DEA] 문제로 공부하기 2 - SSE-KMS AWS DEA-C01데이터 엔지니어암호화 · 보안 S3 암호화 + Redshift COPY 접근 — SSE-KMS가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 암호화 문제 유형입니다. Amazon S3 데이터를 암호화하면서 동시에 Amazon Redshift COPY 명령이 해당 데이터에 접근할 수 있어야 할 때, SSE-KMS / SSE-C / 클라이언트 측 암호화 중 어떤 방식을 선택해야 하는지 도식과 함께 정리합니다. 📋 문제 한 회사에서는 Amazon S3를 사용하여 데이터를 저장하고 Amazon Redshift를 데이터 웨어하우스로 사용한다. 이 회사에서는 S3 데이터를 암호화해야 한다. .. 더보기
[AWS DEA] 실무에서 경험했던 데이터 플랫폼 스택, AWS와 매핑하기 실무에서 경험했던 데이터 플랫폼 스택, AWS로 치환하면?AWS DEA(Data Engineer Associate) 시험을 준비하면서 느낀 건, AWS 서비스 이름이 너무 많다는 것이었습니다. Kinesis, Glue, Athena, EMR, MWAA, Lake Formation... 처음 보면 뭐가 뭔지 전혀 감이 안 잡혔습니다.그런데 생각해보니 24년도에 능력자 동료들을 통해서 경험했던 온프렘 데이터 플랫폼이 있었습니다. Apache Airflow로 파이프라인을 돌리고, Spark로 대규모 ETL을 처리하고, Iceberg 기반 Bronze/Silver/Gold 레이크하우스를 구성했고, Trino로 쿼리하고, Doris를 DW로 썼던 그 시스템... DataHub로 메타데이터 관리하고, MLflow로.. 더보기
[AWS DEA] 데이터 엔지니어링 핵심 파이프라인 및 AWS 서비스 용어 매핑 [AWS DEA] 데이터 엔지니어링 핵심 파이프라인 및 AWS 서비스 용어 매핑데이터 엔지니어링의 기본 개념은 익숙하지만, AWS 환경에 처음 입문하거나 AWS Data Engineering Associate (DEA-C01) 자격증을 준비하면서 특유의 서비스 이름들 때문에 헷갈리셨던 경험이 있으신가요?데이터 파이프라인의 4단계 흐름(수집, 저장, 처리, 분석)과 오케스트레이션 영역에서 일반적인 데이터 엔지니어링 용어가 AWS의 어떤 서비스와 1:1로 매칭되는지 직관적으로 정리해 보았습니다.1. 데이터 수집 (Data Ingestion)실시간 스트리밍 데이터 수집 👉 Amazon Kinesis: 오픈소스인 Apache Kafka와 유사한 역할을 하는 AWS의 대표적인 스트리밍 서비스입니다. 데이터 보관.. 더보기
데이터 엔지니어 update date : 2024-02-25 1. 데이터엔지니어 1.1. 직무소양 1.1.1 OKKY 회원 의견 https://okky.kr/questions/380330 1.2. 관련 자격증 1.2.1 AWS https://aws.amazon.com/ko/certification/certified-data-engineer-associate/ 1.2.2. 한국데이터산업진흥원 https://modulabs.co.kr/blog/bigdata-certification/ 더보기

티스토리툴바