본문 바로가기

Data Engineering

AWS DEA-C01 공식 샘플 문제 — Lambda · EFS 실전 문제 + 정답 해설 AWS DEA-C01 데이터 엔지니어 스토리지 마이그레이션 Lambda · EFS온프레미스 NFS → AWS 마이그레이션 — Lambda에서 EFS를 써야 하는 이유AWS DEA-C01 시험에 자주 나오는 스토리지 마이그레이션 문제 유형입니다. 온프레미스 NFS 파일 공유를 AWS로 이전하면서 Lambda 함수가 NFS 프로토콜로 데이터를 공유해야 할 때, EFS / EBS / DynamoDB / Lambda 로컬 스토리지 중 무엇을 선택해야 하는지 도식과 함께 비교 정리합니다.📋 문제회사의 데이터가 온프레미스 NFS 파일 공유에 있다. 회사는 AWS로 마이그레이션할 계획이며, 데이터 분석에 데이터가 사용된다. 이 회사는 AWS Lambda 함수를 작성해 데이터를 분석한다. 그리고 Lambda가 액세스.. 더보기
AWS DEA-C01 공식 샘플 문제 — SSE-KMS 실전 문제 + 정답 해설 AWS DEA-C01 데이터 엔지니어 암호화 · 보안S3 암호화 + Redshift COPY 접근 — SSE-KMS가 정답인 이유AWS DEA-C01 시험에 자주 나오는 암호화 문제 유형입니다. Amazon S3 데이터를 암호화하면서 동시에 Amazon Redshift COPY 명령이 해당 데이터에 접근할 수 있어야 할 때, SSE-KMS / SSE-C / 클라이언트 측 암호화 중 어떤 방식을 선택해야 하는지 도식과 함께 정리합니다.📋 문제한 회사에서는 Amazon S3를 사용하여 데이터를 저장하고 Amazon Redshift를 데이터 웨어하우스로 사용한다. 이 회사에서는 S3 데이터를 암호화해야 한다. 하지만 Amazon Redshift COPY 명령이 S3 데이터에 액세스할 수 있도록 허용해야 한다.. 더보기
AWS DEA-C01 실무에서 경험했던 데이터 플랫폼 스택, AWS와 매핑하기 실무에서 경험했던 데이터 플랫폼 스택, AWS로 치환하면?AWS DEA(Data Engineer Associate) 시험을 준비하면서 느낀 건, AWS 서비스 이름이 너무 많다는 것이었습니다. Kinesis, Glue, Athena, EMR, MWAA, Lake Formation... 처음 보면 뭐가 뭔지 전혀 감이 안 잡혔습니다.그런데 생각해보니 24년도에 능력자 동료들을 통해서 경험했던 온프렘 데이터 플랫폼이 있었습니다. Apache Airflow로 파이프라인을 돌리고, Spark로 대규모 ETL을 처리하고, Iceberg 기반 Bronze/Silver/Gold 레이크하우스를 구성했고, Trino로 쿼리하고, Doris를 DW로 썼던 그 시스템... DataHub로 메타데이터 관리하고, MLflow로.. 더보기

티스토리툴바