본문 바로가기

Data Engineer

AWS DEA-C01 시험 범위 한눈에 정리 — AWS 처음인데 합격할 수 있을까? 내부부터 사용============================================= -->AWS DEA-C01데이터 엔지니어 어소시에이트시험 범위 완벽 정리처음 보는 사람도 이해할 수 있게 — 실생활 비유로 전체 그림 잡기4 시험 도메인65문 총 문항 수170분 시험 시간720점 합격 기준 (1000점 만점)📊 도메인별 출제 비율🚚 Domain 1 수집·변환 34%🏪 Domain 2 저장소 26%🔧 Domain 3 운영·지원 22%🔒 Domain 4 보안·거버넌스 18%💡 이 글 사용법 — 먼저 비유로 전체 그림을 잡고, 각 서비스의 이름(주황색 태그)을 기억하세요. 아래 탭으로 도메인별로 필터해서 볼 수 있습니다.전체 보기 🚚 Domain 1 · 수집/변환 🏪 Domain 2 .. 더보기
AWS DEA-C01 공식 샘플 문제 — OpenSearch 실전 문제 + 정답 해설 AWS DEA-C01 데이터 엔지니어 검색 · OpenSearch 메타데이터 인덱싱S3 스캔 문서 메타데이터 검색 최적화 — OpenSearch가 정답인 이유AWS DEA-C01 시험에 자주 나오는 검색 성능 최적화 문제입니다. S3에 저장된 수십만 개의 스캔 문서에서 ML로 추출한 메타데이터를 지원자 이름·날짜·텍스트로 빠르게 검색해야 할 때, OpenSearch / Athena / Redshift / EMR Presto 중 어떤 방식이 성능에 가장 최적화되어 있는지 도식과 함께 비교 정리합니다.📋 문제한 회사에서는 수십만 개의 스캔한 문서를 Amazon S3에 이미지로 저장한다. 이 문서에는 타자로 입력된 입사 지원서가 포함되어 있으며, 지원자 이름, 지원자 성, 지원 날짜, 지원자 위치 및 지원 .. 더보기
AWS DEA-C01 데이터 엔지니어 기초 — 수명주기·ETL·파이프라인 완전 정리 AWS Skill Builder · DEA-C01 기초Data EngineeringFundamentals데이터 엔지니어의 정의, 수명 주기, 책임 영역, 방법론, AWS 도구 키트를 한 장으로 정리Data Lifecycle ETL / ELT Data Pipeline AWS Toolkit DEA-C01 기초01 · 핵심 정의👷Data Engineer데이터 엔지니어데이터를 획득(Acquire)하고, 저장(Store)하고, 데이터 과학자·분석가 등이 사용할 수 있도록 준비(Prepare)하는 사람⚙️Data Engineering데이터 엔지니어링원시 데이터를 수집하여 분석·ML에 사용할 고품질의 일관된 데이터를 생성하는 프로세스 및 시스템을 개발·구현·유지 관리하는 것02 · 목표🎯신뢰할 수 있는 데이터셋 .. 더보기
AWS DEA-C01 공식 샘플 문제 — AppFlow 실전 문제 + 정답 해설 AWS DEA-C01 Amazon AppFlow Amazon Redshift SaaS 데이터 통합 최소 운영 오버헤드SaaS → Redshift 지속 데이터 전송 — Amazon AppFlow가 정답인 이유AWS DEA-C01 시험에 자주 나오는 SaaS 데이터 통합 문제입니다. SaaS 애플리케이션 데이터를 Amazon Redshift로 코드 없이 지속적으로 전송하는 솔루션으로 Amazon AppFlow 플로가 정답인 이유를 EventBridge(중개 서비스 필요), Lambda UDF(지속 전송 불가), MWAA(추가 관리 필요)와 비교하여 도식으로 정리합니다.📋 문제회사가 Amazon Redshift 데이터 웨어하우스를 운영하며, 최근 여러 AWS 서비스를 지원하는 SaaS 영업 애플리케이션 사용.. 더보기
AWS DEA-C01 공식 샘플 문제 — S3-IA + Glacier Flexible Retrieval 실전 문제 + 정답 해설 AWS DEA-C01 S3 수명주기 Glacier Flexible 비용 최적화 데이터 보존 정책S3 데이터 수명주기 3단계 — S3-IA + Glacier Flexible Retrieval + 삭제 조합이 정답인 이유AWS DEA-C01 시험에 자주 나오는 S3 수명주기 비용 최적화 문제입니다. 0~3년 온라인 + SQL 분석 가능, 3~10년 12시간 내 복구, 10년 후 삭제 요건을 S3 Infrequent Access → Glacier Flexible Retrieval → 삭제 3단계로 구성하는 이유와, Glacier Deep Archive(12시간 초과), Intelligent-Tiering(패턴 알려진 경우 비적합), RDS 스냅샷(Glacier 직접 이전 불가)이 탈락하는 이유를 정리합니다.?.. 더보기
AWS DEA-C01 공식 샘플 문제 — Glue DPU 실전 문제 + 정답 해설 AWS DEA-C01 AWS Glue DPU 모니터링 작업 실행 모니터링 성능 최적화AWS Glue DPU 적정 용량 결정 — 작업 실행 모니터링 섹션이 정답인 이유AWS DEA-C01 시험에 자주 나오는 Glue 모니터링 문제입니다. DPU(데이터 처리 단위) 적정 용량을 결정하려면 AWS Glue 콘솔의 작업 실행 모니터링 섹션에서 이전 실행의 프로파일링 지표를 시각화해야 합니다. CloudWatch 지표·Logs Insights·시각화 ETL 섹션이 DPU 용량 결정에 부족한 이유를 함께 정리합니다.📋 문제회사가 AWS Glue를 사용하여 레코드를 처리하는 데이터 파이프라인을 배포했다. 레코드에는 JSON 이벤트와 base64 인코딩 이미지가 포함될 수 있다. 현재 Glue 작업은 10 DPU로 .. 더보기
AWS DEA-C01 공식 샘플 문제 — Redshift SUPER 타입 + PartiQL 실전 문제 + 정답 해설 AWS DEA-C01 Amazon Redshift SUPER 타입 PartiQL 중첩 JSON 쿼리중첩 JSON + 기존 테이블 무결성 유지 — Redshift SUPER 타입 + PartiQL이 정답인 이유AWS DEA-C01 시험에 자주 나오는 Redshift 데이터 타입 문제입니다. 중첩 JSON 데이터를 기존 Redshift 테이블 구조를 변경하지 않고 쿼리하려면 SUPER 데이터 타입으로 로드 후 PartiQL로 쿼리하는 방법이 최적입니다. Redshift Spectrum(SQL 한계), Glue 평면화(스키마 변경), Glue Studio 노트북(고가용성 부재)이 탈락하는 이유를 비교 정리합니다.📋 문제한 ISP에서는 최근 고객 상호 작용 데이터를 중첩 JSON 형식으로 저장하기 시작했다. .. 더보기
AWS DEA-C01 공식 샘플 문제 — IAM 실전 문제 + 정답 해설 AWS DEA-C01 AWS Glue IAM 서비스 역할 IAM 정책 ETL 파이프라인AWS Glue ETL에 S3 권한 부여 — IAM 서비스 역할(Role)이 정답인 이유AWS DEA-C01 시험에 자주 나오는 IAM 권한 부여 패턴 문제입니다. AWS 서비스(Glue)에 다른 AWS 리소스(S3) 접근 권한을 부여할 때는 IAM 사용자·액세스 키가 아닌 IAM 서비스 역할(Service Role)을 사용해야 합니다. 리소스 정책과 IAM 역할의 차이, 정책을 직접 연결할 수 없는 이유도 함께 정리합니다.📋 문제데이터 엔지니어가 AWS Glue ETL 파이프라인을 새 계정에 배포하고 있다. 파이프라인은 소스 S3 버킷에서 원시 데이터를 읽고 대상 S3 버킷에 변환된 데이터를 저장한다.데이터 엔지니어.. 더보기