hyeonlee.net

Recent Posts

• [AWS DEA] 문제로 공부하기 20 - OpenSearch AWS DEA-C01데이터 엔지니어검색 · OpenSearch메타데이터 인덱싱 S3 스캔 문서 메타데이터 검색 최적화 — OpenSearch가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 검색 성능 최적화 문제입니다. S3에 저장된 수십만 개의 스캔 문서에서 ML로 추출한 메타데이터를 지원자 이름·날짜·텍스트로 빠르게 검색해야 할 때, OpenSearch / Athena / Redshift / EMR Presto 중 어떤 방식이 성능에 가장 최적화되어 있는지 도식과 함께 비교 정리합니다. 📋 문제 한 회사에서는 수십만 개의 스캔한 문서를 Amazon S3에 이미지로 저장한다. 이 문서에는 타자로 입력된 입사 지.. 더보기
• FDE(Forward Deployed Engineer)되기 위한 역량 완전 정리 🔥 2025–2026 가장 핫한 기술 직군 FDE(Forward Deployed Engineer)되기 위한 역량 완전 정리 이론 역량부터 실무 스킬, 커리어 로드맵, 연봉까지 — 데이터 엔지니어·SW 엔지니어가 FDE로 전환하기 위해 알아야 할 모든 것을 정리했습니다. +1,165% 2024→2025 채용 증가율 $174K 미국 중위 연봉 (2025) 1,000+ Salesforce FDE 목표 채용 3-in-1 엔지니어 · 컨설턴트 · PM 📋 목차 FDE란 .. 더보기
• [AWS DEA] Domain 1 데이터 변환 및 처리 완전 정리 AWS DEA-C01 Domain 1 · Task 2 데이터 변환 및 처리 OLTP · OLAP · EMR · Glue Spark · Kinesis · Redshift JDBC · ODBC · API Gateway AWS Skill Builder AWS DEA-C01 Domain 1 Task 2 — 데이터 변환 및 처리(Transform and Process Data) 완전 정리 AWS Skill Builder 공식 강의 기반. 데이터 엔지니어링 수명 주기의 변환(Transformation) 단계를 중심으로 OLTP vs OLAP, 데이터 모델링, 배치·스트리밍 변환, Amazon EMR Spar.. 더보기
• [AWS DEA] Domain 1 데이터 수집(Data Ingestion) 완전 정리 AWS DEA-C01 Domain 1 데이터 수집 수행 Kinesis · Glue · MSK 배치 · 스트리밍 · 5V AWS Skill Builder AWS DEA-C01 Domain 1 — 데이터 수집 수행(Perform Data Ingestion) 완전 정리 AWS Skill Builder 공식 강의 기반. 데이터 엔지니어링 수명 주기의 수집(Ingestion) 단계를 중심으로 배치 vs 스트리밍, 푸시 vs 풀, 데이터 5V, 멱등성, 재처리 설계, Kinesis 핫 샤드 해결, Redshift COPY 최적화, 스테이트풀 vs 스테이트리스와 AWS 수집 서비스 전체를 도식·비교표로 완전 .. 더보기
• [AWS DEA] Data Engineering Fundamentals (with AWS Toolkit) AWS Skill Builder · DEA-C01 기초Data EngineeringFundamentals데이터 엔지니어의 정의, 수명 주기, 책임 영역, 방법론, AWS 도구 키트를 한 장으로 정리Data Lifecycle ETL / ELT Data Pipeline AWS Toolkit DEA-C01 기초01 · 핵심 정의👷Data Engineer데이터 엔지니어데이터를 획득(Acquire)하고, 저장(Store)하고, 데이터 과학자·분석가 등이 사용할 수 있도록 준비(Prepare)하는 사람⚙️Data Engineering데이터 엔지니어링원시 데이터를 수집하여 분석·ML에 사용할 고품질의 일관된 데이터를 생성하는 프로세스 및 시스템을 개발·구현·유지 관리하는 것02 · 목표🎯신뢰할 수 있는 데이터셋 .. 더보기
• [AWS DEA] 문제로 공부하기 19 - AppFlow AWS DEA-C01Amazon AppFlowAmazon RedshiftSaaS 데이터 통합최소 운영 오버헤드 SaaS → Redshift 지속 데이터 전송 — Amazon AppFlow가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 SaaS 데이터 통합 문제입니다. SaaS 애플리케이션 데이터를 Amazon Redshift로 코드 없이 지속적으로 전송하는 솔루션으로 Amazon AppFlow 플로가 정답인 이유를 EventBridge(중개 서비스 필요), Lambda UDF(지속 전송 불가), MWAA(추가 관리 필요)와 비교하여 도식으로 정리합니다. 📋 문제 회사가 Amazon Redshift 데이터 웨어하우스를 운영하며, .. 더보기
• [AWS DEA] 문제로 공부하기 18 - S3-IA + Glacier Flexible Retrieval + 삭제 AWS DEA-C01S3 수명주기Glacier Flexible비용 최적화데이터 보존 정책 S3 데이터 수명주기 3단계 — S3-IA + Glacier Flexible Retrieval + 삭제 조합이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 S3 수명주기 비용 최적화 문제입니다. 0~3년 온라인 + SQL 분석 가능, 3~10년 12시간 내 복구, 10년 후 삭제 요건을 S3 Infrequent Access → Glacier Flexible Retrieval → 삭제 3단계로 구성하는 이유와, Glacier Deep Archive(12시간 초과), Intelligent-Tiering(패턴 알려진 경우 비적합), RDS 스냅샷(Glacier .. 더보기
• [AWS DEA] 문제로 공부하기 17 - Glue DPU 적정 용량 결정 AWS DEA-C01AWS GlueDPU 모니터링작업 실행 모니터링성능 최적화 AWS Glue DPU 적정 용량 결정 — 작업 실행 모니터링 섹션이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Glue 모니터링 문제입니다. DPU(데이터 처리 단위) 적정 용량을 결정하려면 AWS Glue 콘솔의 작업 실행 모니터링 섹션에서 이전 실행의 프로파일링 지표를 시각화해야 합니다. CloudWatch 지표·Logs Insights·시각화 ETL 섹션이 DPU 용량 결정에 부족한 이유를 함께 정리합니다. 📋 문제 회사가 AWS Glue를 사용하여 레코드를 처리하는 데이터 파이프라인을 배포했다. 레코드에는 JSON 이벤트와 base.. 더보기
• [AWS DEA] 문제로 공부하기 16 - Redshift SUPER 타입 + PartiQL AWS DEA-C01Amazon RedshiftSUPER 타입PartiQL중첩 JSON 쿼리 중첩 JSON + 기존 테이블 무결성 유지 — Redshift SUPER 타입 + PartiQL이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 Redshift 데이터 타입 문제입니다. 중첩 JSON 데이터를 기존 Redshift 테이블 구조를 변경하지 않고 쿼리하려면 SUPER 데이터 타입으로 로드 후 PartiQL로 쿼리하는 방법이 최적입니다. Redshift Spectrum(SQL 한계), Glue 평면화(스키마 변경), Glue Studio 노트북(고가용성 부재)이 탈락하는 이유를 비교 정리합니다. 📋 문제 한 ISP에서는 최근 고.. 더보기
• [AWS DEA] 문제로 공부하기 15 - IAM 서비스 역할(Role) AWS DEA-C01AWS GlueIAM 서비스 역할IAM 정책ETL 파이프라인 AWS Glue ETL에 S3 권한 부여 — IAM 서비스 역할(Role)이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 IAM 권한 부여 패턴 문제입니다. AWS 서비스(Glue)에 다른 AWS 리소스(S3) 접근 권한을 부여할 때는 IAM 사용자·액세스 키가 아닌 IAM 서비스 역할(Service Role)을 사용해야 합니다. 리소스 정책과 IAM 역할의 차이, 정책을 직접 연결할 수 없는 이유도 함께 정리합니다. 📋 문제 데이터 엔지니어가 AWS Glue ETL 파이프라인을 새 계정에 배포하고 있다. 파이프라인은 소스 S3 버킷에서 원.. 더보기
• [AWS DEA] 문제로 공부하기 14 - SQS 대기열 메시지 제거 AWS DEA-C01Amazon SQS메시지 지속성DeleteMessage · DLQ SQS 대기열에서 메시지를 제거하는 이벤트 3가지 — DeleteMessage · maxReceiveCount · 대기열 삭제 AWS DEA-C01 시험에 자주 나오는 SQS 메시지 지속성 문제입니다. SQS에서 메시지를 영구 제거하는 이벤트는 DeleteMessage API 호출, maxReceiveCount 도달(DLQ 이동), 대기열 자체 삭제 세 가지입니다. ReceiveMessage 호출과 가시성 시간 제한 만료가 메시지를 삭제하지 않는 이유를 함께 비교 정리합니다. 📋 문제 한 데이터 엔지니어가 변환할 데이터를 Amazon SQS 대기열에 추.. 더보기
• [AWS DEA] 문제로 공부하기 13 - Macie + EventBridge AWS DEA-C01Amazon MacieAmazon EventBridgePII 감지데이터 마스킹최소 운영 오버헤드 S3 PII 자동 감지 → 즉시 마스킹 호출 — Amazon Macie + EventBridge가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 데이터 보안 자동화 문제입니다. S3에 저장된 신규·기존 데이터의 PII(개인 식별 정보)를 자동 감지하고 마스킹 애플리케이션을 즉시 호출하는 솔루션으로 Amazon Macie + EventBridge 이벤트 규칙이 정답인 이유를 Lambda 수동 구현, S3 알림 방식과 비교하여 도식으로 정리합니다. 📋 문제 회사가 Amazon S3 데이터 레이크를 사용하며, .. 더보기
• [AWS DEA] 문제로 공부하기 12 - IteratorAgeMilliseconds 높은 경우 해결책 AWS DEA-C01Kinesis Data StreamsAWS Lambda스트리밍 성능 최적화IteratorAge Kinesis + Lambda IteratorAgeMilliseconds 높음 — 샤드 증가 · 병렬화 인자 · Enhanced Fan-Out으로 해결 AWS DEA-C01 시험에 자주 나오는 Kinesis + Lambda 스트리밍 성능 문제입니다. IteratorAgeMilliseconds가 피크 시간대에 높아지는 원인을 진단하고, 샤드 수 증가 · 병렬화 인자(Parallelization Factor) 튜닝 · Enhanced Fan-Out 등록으로 해결하는 방법을 예약 동시성·프로비저닝 동시성과 비교하여 도식으로 정리합니다. 📋.. 더보기
• [AWS DEA] One Page Study Guide (ChatGPT vs. Gemini vs. Claude ChatGPT 5.4Gemini Pro 3.1Claude Sonnet 4.6 더보기
• [AWS DEA] 문제로 공부하기 11 - 유지 기간 연장 + DLQ 연결 AWS DEA-C01Amazon SQS메시지 유지 기간Dead Letter Queue데이터 손실 방지 SQS 다운타임 메시지 손실 방지 — 유지 기간 연장 + DLQ 연결이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 SQS 메시지 손실 방지 문제입니다. 애플리케이션 다운타임으로 메시지가 만료·삭제되는 상황에서 메시지 유지 기간 연장(최대 14일)과 DLQ(Dead Letter Queue) 연결이 정답인 이유를, 가시성 시간 제한·지연 대기열·처리 시간 단축과 비교하여 도식으로 정리합니다. 📋 문제 한 애플리케이션에서는 Amazon SQS 대기열의 메시지를 처리한다. 애플리케이션에는 가끔 다운타임이 발생한다. .. 더보기
• [AWS DEA] 문제로 공부하기 10 - Lake Formation AWS DEA-C01Lake Formation세분화 권한 제어데이터 카탈로그메타데이터 관리 중앙 메타데이터 + 셀 수준 권한 제어 — AWS Lake Formation이 정답인 이유 AWS DEA-C01 시험에 자주 나오는 메타데이터 권한 제어 문제입니다. 데이터베이스 · 테이블 · 열 · 행 · 셀 5단계 세분화 권한을 최소 운영 오버헤드로 지원하는 서비스는 AWS Lake Formation 데이터 필터뿐입니다. Glue Data Catalog가 테이블 수준까지만 제어하는 이유, Aurora Hive Metastore와 EMR Hive의 한계를 함께 정리합니다. 📋 문제 AWS에 중앙 집중식 메타데이터 스토리지 솔루션을 배포해야 하는 .. 더보기
• [AWS DEA] 문제로 공부하기 9 - Secrets Manager AWS DEA-C01보안Secrets Manager자격 증명 교체RDS SQL Server RDS SQL Server 자격 증명 자동 교체 — Secrets Manager가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 자격 증명 보안 관리 문제입니다. AWS Secrets Manager만이 RDS 자격 증명의 자동 교체를 네이티브로 지원합니다. Parameter Store는 자동 교체 미지원, IAM DB 인증은 SQL Server 미지원, STS는 노출 위험 제거 불가. 4가지 서비스의 특징 차이를 도식으로 비교 정리합니다. 📋 문제 회사에서는 Amazon RDS for Microsoft SQL Server 데이터베이스 기반 .. 더보기
• [AWS DEA] 문제로 공부하기 8 - Spectrum + S3 Glacier Deep Archive AWS DEA-C01데이터 엔지니어Redshift SpectrumS3 Glacier · 수명주기비용 최적화 Redshift 데이터 수명주기 비용 최적화 — Spectrum + S3 Glacier Deep Archive가 정답인 이유 AWS DEA-C01 시험에 자주 나오는 데이터 수명주기 비용 최적화 문제입니다. 최근 3개월은 Redshift에서 활성 분석, 3~12개월은 S3 + Redshift Spectrum으로 연간 분석, 12개월 이후는 S3 Glacier Deep Archive로 규정 준수 보관하는 3단계 수명주기 아키텍처를 도식으로 비교 정리합니다. Redshift Spectrum이 접근할 수 없는 스토리지 등급도 함께 정리.. 더보기
• [AWS DEA] 시험 합격을 위한 완전 가이드2 (feat.Claude Sonnet 4.6) 🎯 AWS 자격증 가이드 2025AWS DEA 완벽 정리서비스 60개 + 문제 패턴 30개 + 3일 합격법Data Engineer Associate(DEA-C01) 시험에 나오는 모든 용어를 실생활 비유로 이해하고, 60개 서비스 구조 지도와 문제 유형 30패턴, 3일 합격 공부법까지 한 번에 정리합니다.📅 DEA-C01 기준 ⏱ 읽기 약 15분 🧠 난이도 ★★★☆☆ ✍️ 이현📋 목차시험 기본 정보 한눈에AWS 용어, 실생활 비유로 이해하기시험에 나오는 60개 서비스 전체 지도반복 출제 문제 유형 30가지 패턴3일 만에 합격하는 공부법00 / Exam Info시험 기본 정보 한눈에 DEA-C01 스펙을 먼저 파악해야 공부 전략이 잡힌다.65문제 수130분시험 시간720합격 점수 /1000$150응.. 더보기
• [AWS DEA] 시험 합격을 위한 완전 가이드1 (feat.Gemini Pro 3.1) AWS DEA-C01 완벽 대비AWS Data Engineer Associate 시험핵심 서비스와 문제 패턴으로 합격하는 가이드AWS Data Engineer Associate(DEA-C01) 시험을 준비하는 분들을 위해 핵심 데이터를 실생활 비유로 설명하고, 시험에 자주 등장하는 문제 패턴과 아키텍처 흐름을 한 번에 정리했습니다.💡 합격 관점 핵심 프레임데이터가 들어온다 → 저장한다 → 정제한다 → 분석한다 → 보호한다.서비스 이름보다 “언제 무엇을 고르는가”가 더 중요합니다.문제는 대부분 성능·비용·운영성·보안의 균형을 묻습니다.1️⃣ AWS DEA 핵심 용어 정리 (실생활 비유)시험에서 서비스 이름을 보고 바로 기능이 떠오르지 않으면 선택지가 흔들립니다. 자주 나오는 서비스를 “현실 세계 역할”로.. 더보기