본문 바로가기

Data Engineering

[AWS DEA] 문제로 공부하기 3 - Lambda · EFS AWS DEA-C01데이터 엔지니어스토리지 마이그레이션Lambda · EFS 온프레미스 NFS → AWS 마이그레이션 — Lambda에서 EFS를 써야 하는 이유 AWS DEA-C01 시험에 자주 나오는 스토리지 마이그레이션 문제 유형입니다. 온프레미스 NFS 파일 공유를 AWS로 이전하면서 Lambda 함수가 NFS 프로토콜로 데이터를 공유해야 할 때, EFS / EBS / DynamoDB / Lambda 로컬 스토리지 중 무엇을 선택해야 하는지 도식과 함께 비교 정리합니다. 📋 문제 회사의 데이터가 온프레미스 NFS 파일 공유에 있다. 회사는 AWS로 마이그레이션할 계획이며, 데이터 분석에 데이터가 사용된다. .. 더보기
[AWS DEA] 문제로 공부하기 2 - SSE-KMS AWS DEA-C01데이터 엔지니어암호화 · 보안 S3 암호화 + Redshift COPY 접근 — SSE-KMS가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 암호화 문제 유형입니다. Amazon S3 데이터를 암호화하면서 동시에 Amazon Redshift COPY 명령이 해당 데이터에 접근할 수 있어야 할 때, SSE-KMS / SSE-C / 클라이언트 측 암호화 중 어떤 방식을 선택해야 하는지 도식과 함께 정리합니다. 📋 문제 한 회사에서는 Amazon S3를 사용하여 데이터를 저장하고 Amazon Redshift를 데이터 웨어하우스로 사용한다. 이 회사에서는 S3 데이터를 암호화해야 한다. .. 더보기
[AWS DEA] 실무에서 경험했던 데이터 플랫폼 스택, AWS와 매핑하기 실무에서 경험했던 데이터 플랫폼 스택, AWS로 치환하면?AWS DEA(Data Engineer Associate) 시험을 준비하면서 느낀 건, AWS 서비스 이름이 너무 많다는 것이었습니다. Kinesis, Glue, Athena, EMR, MWAA, Lake Formation... 처음 보면 뭐가 뭔지 전혀 감이 안 잡혔습니다.그런데 생각해보니 24년도에 능력자 동료들을 통해서 경험했던 온프렘 데이터 플랫폼이 있었습니다. Apache Airflow로 파이프라인을 돌리고, Spark로 대규모 ETL을 처리하고, Iceberg 기반 Bronze/Silver/Gold 레이크하우스를 구성했고, Trino로 쿼리하고, Doris를 DW로 썼던 그 시스템... DataHub로 메타데이터 관리하고, MLflow로.. 더보기

티스토리툴바