AWS DEA ์๋ฒฝ ์ ๋ฆฌ
์๋น์ค 60๊ฐ + ๋ฌธ์ ํจํด 30๊ฐ + 3์ผ ํฉ๊ฒฉ๋ฒ
Data Engineer Associate(DEA-C01) ์ํ์ ๋์ค๋ ๋ชจ๋ ์ฉ์ด๋ฅผ ์ค์ํ ๋น์ ๋ก ์ดํดํ๊ณ , 60๊ฐ ์๋น์ค ๊ตฌ์กฐ ์ง๋์ ๋ฌธ์ ์ ํ 30ํจํด, 3์ผ ํฉ๊ฒฉ ๊ณต๋ถ๋ฒ๊น์ง ํ ๋ฒ์ ์ ๋ฆฌํฉ๋๋ค.
์ํ ๊ธฐ๋ณธ ์ ๋ณด ํ๋์
DEA-C01 ์คํ์ ๋จผ์ ํ์ ํด์ผ ๊ณต๋ถ ์ ๋ต์ด ์กํ๋ค.
๐ ์ํ ๋๋ฉ์ธ ๋น์ค (DEA-C01)
- Domain 1. ๋ฐ์ดํฐ ์์ง ๋ฐ ๋ณํ (34%) — Kinesis, Glue, DMS, Lambda, SQS ์ค์ฌ
- Domain 2. ๋ฐ์ดํฐ ์ ์ฅ ๋ฐ ๊ด๋ฆฌ (26%) — S3, Redshift, DynamoDB, RDS, Lake Formation
- Domain 3. ๋ฐ์ดํฐ ์ด์ ๋ฐ ์ง์ (22%) — CloudWatch, Step Functions, MWAA, EventBridge
- Domain 4. ๋ฐ์ดํฐ ๋ณด์ ๋ฐ ๊ฑฐ๋ฒ๋์ค (18%) — IAM, KMS, Macie, Lake Formation
AWS ์ฉ์ด, ์ค์ํ ๋น์ ๋ก ์ดํดํ๊ธฐ
๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ์ ์ฒด๋ฅผ ์ค๋งํธ ๊ณต์ฅ์ ๋น์ ํ๋ฉด ๋ชจ๋ ์๋น์ค๊ฐ ํ๋ฒ์ ๋ณด์ธ๋ค.
์ ์ฒด ๊ตฌ์กฐ ๋น์ ๐ญ
AWS ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ = ๋ํ ์ค๋งํธ ๊ณต์ฅ
์์ฌ๋ฃ(Raw Data)๊ฐ ์
๊ตฌ๋ก ๋ค์ด์ค๋ฉด → ์ปจ๋ฒ ์ด์ด ๋ฒจํธ(Kinesis)๋ก ์ด๋ → ๊ฐ๊ณต ๊ณต์ฅ(Glue/EMR)์์ ๋ณํ → ์ฐฝ๊ณ (S3, Redshift)์ ๋ณด๊ด → ๋ถ์์ค(QuickSight/Athena)์์ ์ธ์ฌ์ดํธ ์ถ์ถ. ๊ณต์ฅ ์ ์ฒด๋ฅผ ๋ณด์ ํ(IAM/KMS)์ด ์งํค๊ณ , ๊ณต์ฅ์ฅ(CloudWatch)์ด ๋ชจ๋ํฐ๋งํ๋ค.
๊ณต์ฅ ์ ๊ตฌ์ ์ปจ๋ฒ ์ด์ด ๋ฒจํธ. ๋ฐ์ดํฐ๊ฐ ๋์์์ด ์ฌ๋ผ์จ๋ค. ์ํ๋ ์์น(์ค๋)์ ์ฌ๋ฌ ์์ ์๊ฐ ๋์ ์ฒ๋ฆฌ. 24์๊ฐ~7์ผ ๋ณด๊ด.
๋ชฉ์ ์ง(S3/Redshift)๋ก ์๋ ๋ฐฐ๋ฌํด์ฃผ๋ ํธ๋ญ. ์ด์ ์(๊ฐ๋ฐ์) ์์ด๋ OK. ๋จ, ์ค์๊ฐ์ด ์๋ ์๋์ฉ ๋ฌถ์ด์ ๋ฐฐ๋ฌ(Micro-batch).
๋ฒจํธ ์ ์ฆ์ ๊ณ์ฐ๊ธฐ. ์ง๋๊ฐ๋ ๋ฐ์ดํฐ๋ฅผ SQL/Flink๋ก ์ค์๊ฐ ๋ถ์. "๋ถ๋๋ฅ 5% ์ด๊ณผ ์ ์ฆ์ ์๋!"
์ํ ๋ฒํธํ ๋ฝ๋ ๊ธฐ๊ณ. ์๋(๋ฉ์์ง)์ด ๋ชฐ๋ ค๋ ์ค ์ธ์ ์์๋๋ก ์ฒ๋ฆฌ. ์ต๋ 14์ผ ๋ณด๊ด. 1:1 ๋น๋๊ธฐ ํต์ .
๋ฐฉ์ก์ค์์ ์ ์ฒด ๋ฐฉ์ก ํ ๋ฒ ๋๋ฅด๋ฉด ๊ตฌ๋ ํ ๋ชจ๋ ์ฑ๋(SQS, Lambda, Email)์ ๋์ ์ ๋ฌ. 1:N ํฌ์์.
์ด๋ฒคํธ(ํ์ผ ์ ๋ก๋, DB ๋ณ๊ฒฝ)๋ฅผ ๊ฐ์งํด์ ์๋์ผ๋ก ๊ด๋ จ ์๋น์ค์ ์ ๋ฌ. "S3์ ํ์ผ ์ฌ๋ผ์ค๋ฉด Lambda ์๋ ์คํ."
Oracle → Aurora ์ด์ฌ ๋ ๋ถ๋ฅด๋ ์ ๋ฌธ ์ด์ฌ ์ ์ฒด. ์ด์ฌ ์ค์๋ ๊ธฐ์กด DB ์ฌ์ฉ ๊ฐ๋ฅ(CDC). ์ด๊ธฐ์ข DB ํธํ ์ง์.
์ธํฐ๋ท ๋๋ฆด ๋ ๋ฌผ๋ฆฌ์ ํ๋๋๋ผ์ด๋ธ ๋ฐ์ค๋ฅผ ํ๋ฐฐ๋ก ๋ฐ์ ๋ฐ์ดํฐ ์ฑ์ด ๋ค ๋ณด๋ด๋ฉด S3์ ์๋ ์ ๋ก๋.
CSV/JSON์ ์๋์ผ๋ก Parquet์ผ๋ก ๋ณํ. Crawler = ์ฌ๋ฃ ํ์ , Job = ๊ฐ๊ณต, Catalog = ๋ชฉ๋ก ๊ด๋ฆฌ. ์๋ฒ๋ฆฌ์ค.
์ฝ๋ฉ ์์ด ๋๋๊ทธ์ค๋๋กญ์ผ๋ก ๋ฐ์ดํฐ ์ ์ . "์ค๋ณต ์ ๊ฑฐ", "๊ฒฐ์ธก์น ์ฑ์ฐ๊ธฐ" ๋ฒํผ์ผ๋ก ์ฒ๋ฆฌ. ๋ถ์๊ฐ ์ง์ ์ฌ์ฉ ๊ฐ๋ฅ.
Spark/Hive/Hadoop์ ๋๋ฆฌ๋ ๋ํ ์ ์กฐ ๊ณต์ฅ. ์๋ฒ ์๋ฐฑ ๋ ๋๊ท๋ชจ ๋ฐฐ์น ์ฒ๋ฆฌ. ์์ ๋๋๋ฉด ๊ณต์ฅ ํด์ฒด → ๋น์ฉ ์ ๊ฐ.
ํ์์ ๋๊ธฐ, ์ด๋ฒคํธ ๋ฐ์ ์ ์ฆ์ ์ถ๊ทผํด์ 15๋ถ ๋ด ์ฒ๋ฆฌํ๊ณ ํด๊ทผ. ์๋ฒ ๊ด๋ฆฌ 0. ์๋·์งง์ ์ฒ๋ฆฌ์ ์ต์ .
๊ณต์ ์ ์์·์์กด์ฑ ๊ด๋ฆฌ. "A ์๋ฃ → B ์์ → C·D ๋์ → E ๋ง๋ฌด๋ฆฌ". DAG๋ก ๋ณต์กํ ํ์ดํ๋ผ์ธ ์ค์ผ์ค๋ง.
์ด๋์ ์ด๋ค ์์ฌ๊ฐ ์๋์ง ๋ฉํ๋ฐ์ดํฐ ๋ชฉ๋ก. Athena, EMR, Redshift Spectrum์ด ์ด ๋ชฉ๋ก์ ๊ณต์ ํด์ ์ฌ์ฉ.
์ฉ๋ ๋ฌด์ ํ ์ด๋ํ ์ฐฝ๊ณ . ์ด๋ค ํ์ผ์ด๋ ์ ์ฅ. Lifecycle์ผ๋ก ์์ฃผ ์ ์ฐ๋ ํ์ผ์ ์ ๋ ดํ ๋๋์ฐฝ๊ณ (Glacier)๋ก ์๋ ์ด๋.
๊ฑฐ์ ์ ๊บผ๋ผ ์๋ฃ๋ฅผ ๋ฃ๋ ๋๋ ๋ณด๊ด ์ฐฝ๊ณ . ๊บผ๋ผ ๋ ํด๋ ์๊ฐ ํ์(์๋ถ~12์๊ฐ). ๊ฐ๊ฒฉ ๋งค์ฐ ์ ๋ ด. ๊ท์ ์ค์ ๋ณด๊ด.
Key๋ก ์ฆ์ ๊บผ๋ด๋ ํฌ์คํธ์. ์ด๋์๋ 1ms ์๋ต. ํ์ ์์ (NoSQL). ๋ณต์กํ ์ฟผ๋ฆฌ ๋ถ๊ฐ. "userId → ์ฌ์ฉ์ ์ ๋ณด ์ฆ์ ์กฐํ."
์์ญ์ต ๊ฑด ๋ฐ์ดํฐ๋ฅผ ์ปฌ๋ผ ๋จ์๋ก ๋ถ์ํ๋ ์ฐ๊ตฌ์. ๋ณต์กํ ์ง๊ณ ์ฟผ๋ฆฌ ๊ณ ์ ์ฒ๋ฆฌ. OLAP ์ ์ฉ. DISTKEY·SORTKEY ์ค๊ณ๊ฐ ์ฑ๋ฅ ํต์ฌ.
์ ํํ๋ ๊ด๊ณํ ๊ธฐ๋ก ๊ด๋ฆฌ. INSERT/UPDATE/SELECT ๋น ๋ฅธ OLTP. Aurora = RDS ๊ณ ์ฑ๋ฅ ๋ฒ์ (5๋ฐฐ ๋น ๋ฆ). Multi-AZ ๊ณ ๊ฐ์ฉ์ฑ.
์์ฃผ ์ฐ๋ ๊ฑธ ์ฑ ์ ์์ ๊บผ๋ด๋๊ธฐ. DB๊น์ง ์ ๊ฐ๋ ๋ฉ๋ชจ๋ฆฌ์์ ์ฆ์ ์๋ต(๋ง์ดํฌ๋ก์ด). Redis = ๊ธฐ๋ฅ ํ๋ถ, Memcached = ๋จ์.
๋ฐ์ดํฐ ๋ ์ดํฌ์ ์ถ์ ์ฆ ๊ด๋ฆฌ์. "Aํ์ ๊ณ ๊ฐ ํ ์ด๋ธ๋ง, Bํ์ ๋งค์ถ ์ปฌ๋ผ๋ง" ์ธ๋ฐํ ์ ๊ทผ ๊ถํ ์ค์ . ์ค์ ๊ฑฐ๋ฒ๋์ค ์ ๊ณต.
IoT ์ผ์, ์๋ฒ ๋ฉํธ๋ฆญ์ฒ๋ผ ์๊ฐ์ ๋ฐ์ดํฐ ์ ์ฉ DB. ์๊ณ์ด ์ฟผ๋ฆฌ์ ์ต์ ํ. ์๋ ์์ถ·TTL ๊ด๋ฆฌ. Grafana ์ฐ๋.
S3 ์ฐฝ๊ณ ์ ๊ฐ์ ์ง์ SQL ๊ฒ์. ์๋ฒ ์์ด ์ฟผ๋ฆฌ. ์ค์บ ๋ฐ์ดํฐ TB๋น ๊ณผ๊ธ. Parquet + ํํฐ์ ๋์ผ๋ก ๋น์ฉ 90% ์ ๊ฐ ๊ฐ๋ฅ.
๋ฐ์ดํฐ ์ฐ๊ฒฐํ๋ฉด ์๋์ผ๋ก ๊ทธ๋ํ·๋์๋ณด๋ ์์ฑ. SPICE ์์ง์ผ๋ก ๋น ๋ฅธ ์๋ต. ML Insights๋ก ์ด์์น ์๋ ํ์ง. ์์ ๋ณด๊ณ ์ฉ.
Redshift์์ S3 ๋ฐ์ดํฐ๋ฅผ ์ด๋ ์์ด ์ง์ ์ฟผ๋ฆฌ. ์ฝ๋ ๋ฐ์ดํฐ ๋น์ฉ ํจ์จ์ ๋ถ์. Glue Catalog์ ์ฐ๋ํด ์ฌ์ฉ.
๊ตฌ๊ธ ๊ฐ์ ์ ๋ฌธ ๊ฒ์ ๊ธฐ๋ฅ. ๋ก๊ทธ ๊ฒ์, ํ ์คํธ ๋ถ์, ์ค์๊ฐ ๋ชจ๋ํฐ๋ง ๋์๋ณด๋. "์ค๋ฅ ๋ก๊ทธ์์ ํน์ ํจํด ์ฆ์ ๊ฒ์."
๋๊ฐ ์ด๋์ ๋ค์ด๊ฐ ์ ์๋์ง ์ ํ๋ HR ์์คํ . Role = ์ง์ฑ , Policy = ๊ถํ ๋ฌธ์, User = ์ง์. ์ต์ ๊ถํ ์์น์ด ํต์ฌ.
์ํธํ ํค๋ฅผ ์์ ํ๊ฒ ๋ณด๊ดํ๋ ๊ธ๊ณ . SSE-KMS๋ก S3 ์ํธํ. CMK๋ก ์ง์ ํต์ . CloudTrail๋ก ํค ์ฌ์ฉ ์ด๋ ฅ ์ถ์ ๊ฐ๋ฅ.
DB ๋น๋ฐ๋ฒํธ, API Key๋ฅผ ์ฝ๋์ ์ง์ ์ฐ์ง ์๊ณ ๊ธ๊ณ ์ ๋ณด๊ด. ์๋ ์ํ(Rotation). ์ฑ์ ๊ธ๊ณ ์์ ๊บผ๋ด ์ฌ์ฉ.
S3์์ ์ฃผ๋ฏผ๋ฒํธ·์ ์ฉ์นด๋ ๊ฐ์ ๋ฏผ๊ฐ ๋ฐ์ดํฐ๋ฅผ ML๋ก ์๋ ํ์ง. GDPR ์ปดํ๋ผ์ด์ธ์ค ํ์ ๋๊ตฌ. ํ์ง๋ง, ์ญ์ ๋ ๋ณ๋ ์ฒ๋ฆฌ.
AWS ๊ณ์ ์ ๋ชจ๋ API ํธ์ถ ๊ธฐ๋กํ๋ CCTV. "๋๊ฐ ์ธ์ S3 ๋ฒํท ์ญ์ ํ๋?" ๊ฐ์ฌ·ํฌ๋ ์ ํ์. CloudTrail vs Config ํผ๋ ๊ธ์ง.
AWS ๋ด ๋๋ง์ ์ฌ์ค ์ธํฐ๋ท. VPC Endpoint๋ก ์ธํฐ๋ท ์์ด S3·DynamoDB ์ง์ ์ ๊ทผ. ๋ณด์ + ๋ฐ์ดํฐ ์ ์ก ๋น์ฉ ์ด์ .
์๋ฒ·์๋น์ค ์ํ ๋ชจ๋ํฐ๋ง ๊ณ๊ธฐํ. CPU/๋ฉ๋ชจ๋ฆฌ/์๋ฌ ์ ํ์ธ. Alarm์ผ๋ก ์๊ณ์น ์ด๊ณผ ์ SNS ์๋ฆผ. Logs๋ก ๋ก๊ทธ ์์ง·๋ถ์.
์ฌ๋ฌ Lambda๋ฅผ ์์๋๋ก ์ฐ๊ฒฐํ๋ ๋ก๋ดํ. "1๋จ๊ณ ์ฑ๊ณต→2๋จ๊ณ, ์คํจ→์ฌ์๋." ์๊ฐ์ ์ํฌํ๋ก. MWAA๋ณด๋ค ๊ฐ๋จํ ํ๋ฆ์ ์ ํฉ.
๋ฆฌ์์ค ์ค์ ์ด ์ธ์ ์ด๋ป๊ฒ ๋ฐ๋์๋์ง ๊ธฐ๋ก. ๊ท์ ์ค์ ์๋ ์ฒดํฌ. CloudTrail = "๋๊ฐ ๋ญ ํ๋", Config = "์ค์ ๋ณ๊ฒฝ ์ด๋ ฅ".
์ธ๋ถ ์ ์ฒด ๋ฐ์ดํฐ๋ฅผ ๊ตฌ๋ ·๊ตฌ๋งคํ๋ ๋ง์ผ. ๋ ์จ, ๊ธ์ต, ์๋ฃ ๋ฐ์ดํฐ ๋ฑ์ API ์์ด S3๋ก ์ง์ ์์ . ์๋ํํฐ ๋ฐ์ดํฐ ํ์ฉ.
์ํ์ ๋์ค๋ 60๊ฐ ์๋น์ค ์ ์ฒด ์ง๋
๋๋ฉ์ธ๋ณ ์๋น์ค ๋ถ๋ฅ ์ง๋. โญ = ๊ณ ๋น๋ ์ถ์ ์๋น์ค.
์์ง·๋ณํ
์ ์ฅ·๊ด๋ฆฌ
์ด์·์ง์
๋ณด์·๊ฑฐ๋ฒ๋์ค
๐ ํ์ผ ํฌ๋งท ๋น๊ต — ์ํ ํ์ ์๊ธฐ
| ํฌ๋งท | ์ ์ฅ ๋ฐฉ์ | ์ต์ ์ฌ์ฉ์ฒ | ํน์ด์ฌํญ |
|---|---|---|---|
| Parquet | ์ปฌ๋ผ ๊ธฐ๋ฐ | Athena, Redshift Spectrum, Glue | โญ ๋น์ฉ·์ฑ๋ฅ ์ต์ ํ 1์์ |
| ORC | ์ปฌ๋ผ ๊ธฐ๋ฐ | EMR, Hive | Parquet๊ณผ ์ ์ฌ, Hive ์ต์ ํ |
| Avro | ํ ๊ธฐ๋ฐ | Kafka, Kinesis, ์คํธ๋ฆฌ๋ฐ | ์คํค๋ง ๋ด์ฅ, ์คํค๋ง ์งํ ์ง์ |
| JSON | ํ ๊ธฐ๋ฐ | API, ๋ก๊ทธ ์์ง | ์ฉ๋ ํฌ๊ณ ์ฟผ๋ฆฌ ๋๋ฆผ |
| CSV | ํ ๊ธฐ๋ฐ | ์๊ท๋ชจ ๋ฐ์ดํฐ | ๋ถ์ ๋นํจ์จ, ๋ฒ์ฉ์ฑ ๋์ |
| Delta Lake | ์ปฌ๋ผ(Parquet) | ๋ฐ์ดํฐ ๋ ์ดํฌํ์ฐ์ค | ACID ํธ๋์ญ์ + ํ์ ํธ๋๋ธ |
| Apache Iceberg | ์ปฌ๋ผ(Parquet) | Athena, Glue, EMR | AWS ๊ณต์ ์ง์, ์คํค๋ง ์งํ |
๋ฐ๋ณต ์ถ์ ๋ฌธ์ ์ ํ 30๊ฐ์ง ํจํด
์ด ํจํด๋ค์ ์ตํ๋ฉด ์๋ก์ด ๋ฌธ์ ๋ ํจํด ๋งค์นญ์ผ๋ก ๋น ๋ฅด๊ฒ ํ๋ฆฐ๋ค.
ms ๋จ์ ์ค์๊ฐ → KDS. ์๋ถ ๋จ์ ๋ฌถ์ ์ ์ก → Firehose. ๋๊ท๋ชจ ๋ฐฐ์น → Glue/EMR. ์๋ฒ๋ฆฌ์ค ๊ฐ๋จ ์ฒ๋ฆฌ → Lambda.
ํญ์ S3 + Glue Data Catalog + Lake Formation ์กฐํฉ. ์ฟผ๋ฆฌ์ Athena, ๊ฑฐ๋ฒ๋์ค์ Lake Formation.
์๋ฒ ๊ด๋ฆฌ ์์ด ETL → AWS Glue. ์๊ฐ์ UI ํ์ → Glue DataBrew. ๋๊ท๋ชจ ์ปค์คํ → EMR.
๋์ข DB ์ด์ → DMS. ์ด๊ธฐ์ข (Oracle→Aurora) → SCT + DMS. ๋ฌด์ค๋จ ์ค์๊ฐ ๋ณต์ → CDC ํ์ฑํ.
์์ฃผ ์ ๊ทผ → S3 Standard. ๊ฐ๋ → S3 IA. ๊ฑฐ์ ์์ → Glacier. CSV → Parquet ์ ํ + ํํฐ์ ๋.
AWS ๊ด๋ฆฌ ํค → SSE-S3. KMS ์ ์ด → SSE-KMS. ๊ณ ๊ฐ ํค ์ง์ ์ ๊ณต → SSE-C. ํด๋ผ์ด์ธํธ ์ํธํ → CSE.
ํญ์ ์ต์ ๊ถํ ์์น. ๋ฆฌ์์ค ๊ธฐ๋ฐ vs ์๊ฒฉ์ฆ๋ช ๊ธฐ๋ฐ ์ ์ฑ ๊ตฌ๋ถ. Cross-Account → Role Assume.
ํซ ํํฐ์ → ํํฐ์ ํค ๋ถ์ฐ ์ค๊ณ. ์ฝ๊ธฐ ๋ถํ → DAX ์บ์. ๊ฐ์์ค๋ฐ ํธ๋ํฝ → On-Demand ๋ชจ๋.
DISTKEY → ์กฐ์ธ ๋ง์ ์ปฌ๋ผ. SORTKEY → WHERE์ ์กฐ๊ฑด ์ปฌ๋ผ. COPY ๋ช ๋ น์ผ๋ก S3์์ ๋ณ๋ ฌ ๋ก๋.
S3 ์๋ ํ์ง → Macie. ETL ๋ด PII ํ์ง·๋ง์คํน → Glue ๋ฏผ๊ฐ ๋ฐ์ดํฐ ๊ธฐ๋ฅ. ์ญ์ ·์ต๋ช ํ → Lambda.
๊ฐ๋จํ Lambda ์ฒด์ด๋ → Step Functions. ๋ณต์กํ DAG → MWAA(Airflow). ์ด๋ฒคํธ ๊ธฐ๋ฐ ํธ๋ฆฌ๊ฑฐ → EventBridge.
1:1 ๋น๋๊ธฐ → SQS. 1:N ํฌ์์ → SNS→SQS ๊ตฌ์กฐ. ์ด๋ฒคํธ ๋ผ์ฐํ ·ํํฐ๋ง → EventBridge.
ํํฐ์ ๋(๋ ์ง/์ง์ญ) + Parquet ํฌ๋งท ์ ํ. Glue Crawler๋ก ํํฐ์ ์๋ ์ธ์. ์ฟผ๋ฆฌ ๊ฒฐ๊ณผ ์ฌ์ฌ์ฉ.
Kinesis → KDA(SQL/Flink) → ์ด์์น ํ์ง → SNS ์๋ฆผ or Lambda ์ฒ๋ฆฌ. ์ค์๊ฐ ์ง๊ณ๋ KDA.
Cross-Account Role Assume + S3 ๋ฒํท ์ ์ฑ . Lake Formation์ผ๋ก ๋ค๋ฅธ ๊ณ์ ์ ํ ์ด๋ธ·์ปฌ๋ผ ๋จ์ ๊ณต์ .
์ฅ์ ๋์(HA) → Multi-AZ(์๋ ํ์ผ์ค๋ฒ). ์ฝ๊ธฐ ๋ถํ ๋ถ์ฐ(์ฑ๋ฅ) → Read Replica. Aurora Global → ๊ธ๋ก๋ฒ DR.
์ธํฐ๋ท ์์ด AWS ์๋น์ค ์ ๊ทผ → VPC Endpoint. S3·DynamoDB → Gateway Endpoint(๋ฌด๋ฃ). ๋๋จธ์ง → Interface Endpoint.
Glue Data Quality๋ก ์คํค๋ง·๊ฐ ๊ฒ์ฆ ๊ท์น. CloudWatch + Lambda๋ก ์ด์ ๋ ์ฝ๋ ์๋ฆผ. DataBrew๋ก ๋ฐ์ดํฐ ํ๋กํ์ผ๋ง.
์ฑ → Firehose → S3 → Athena(์ฅ๊ธฐ ๋ถ์). ๋๋ ์ฑ → CW Logs → Firehose → OpenSearch(์ค์๊ฐ ๊ฒ์).
RDS/Aurora → DMS CDC → Kinesis → S3/Redshift. DynamoDB ๋ณ๊ฒฝ → DynamoDB Streams → Lambda.
S3 + Glue(์๋ฒ๋ฆฌ์ค) + Athena + QuickSight. Lambda + Firehose + S3. "์ด์ ์ค๋ฒํค๋ ์ต์ํ" = ์๋ฒ๋ฆฌ์ค ์กฐํฉ.
์ธํฐ๋ท ๊ฐ๋ฅ·๋น ๋ฆ → DataSync. ์ธํฐ๋ท ๋ถ์์ ·๋๋ฆผ → Snowball Edge. ํํ๋ฐ์ดํธ ๊ท๋ชจ → Snowmobile.
API ํธ์ถ ์ด๋ ฅ → CloudTrail. ๋ฆฌ์์ค ์ค์ ๋ณ๊ฒฝ → AWS Config. ๋ฐ์ดํฐ ์ ๊ทผ ๋ก๊ทธ → Lake Formation.
S3 + Apache Iceberg/Delta Lake + Athena or Redshift Spectrum. ํธ๋์ญ์ ์ง์ + ๋๊ท๋ชจ ๋ถ์ ๋์ ๊ฐ๋ฅ.
Redshift/Athena/S3 → QuickSight. SPICE๋ก ์ธ๋ฉ๋ชจ๋ฆฌ ์บ์ฑ. Row-Level Security๋ก ๋ถ์๋ณ ๋ฐ์ดํฐ ํํฐ๋ง.
IoT ์ผ์·์๋ฒ ๋ฉํธ๋ฆญ → Amazon Timestream. ์ฟผ๋ฆฌ ์ต์ ํ + ์๋ TTL. Grafana ์ฐ๋ ์๊ฐํ.
์๋ ์ํ(Rotation) ํ์ → Secrets Manager. ๋จ์ ์ค์ ๊ฐ → Parameter Store. ํ๋์ฝ๋ฉ์ ํญ์ ์ค๋ต.
Redshift Datasharing์ผ๋ก ๋ค๋ฅธ ํด๋ฌ์คํฐ/๊ณ์ ์ ๋ผ์ด๋ธ ๋ฐ์ดํฐ ๊ณต์ . ๋ณต์ฌ ์์ด ์ฝ๊ธฐ ์ ์ฉ ์ ๊ทผ.
CloudWatch Alarm → SNS → ์ด๋ฉ์ผ/SMS. Glue Job ์คํจ → EventBridge → SNS. Step Functions → CloudWatch.
์๋ ๋๋ค ์ ๊ทผ → Prefix ๋ถ์ฐ. ๋๋ ์ ์ฌ → ๋ฉํฐํํธ ์ ๋ก๋(100MB ์ด์). ์๊ฑฐ๋ฆฌ → Transfer Acceleration.
3์ผ ๋ง์ ํฉ๊ฒฉํ๋ ๊ณต๋ถ๋ฒ
๋ฐ์ดํฐ ์์ง๋์ด๋ง ์ค๋ฌด ๊ฒฝํ์ด ์๋ค๋ฉด 3์ผ ์ง์ค์ผ๋ก ์ถฉ๋ถํ๋ค. ์์์ ์ ๋ต์ด ํต์ฌ์ด๋ค.
- ์ค์ (3h) — AWS ๊ณต์ DEA ์ํ ๊ฐ์ด๋ ์ ๋ . 4๊ฐ ๋๋ฉ์ธ ๋น์ค·๋ฒ์ ํ์ . ์ด ๊ธ ์๋น์ค ์ง๋ ์์ง.
- ์คํ (3h) — Domain 1 ์ง์ค: Kinesis 3์ข , Glue, DMS, Lambda, SQS/SNS/EventBridge. ์ค์ํ ๋น์ ๋ก ์๊ธฐ.
- ์ ๋ (2h) — AWS ๊ณต์ ์ํ ๋ฌธ์ 20๊ฐ. ํ๋ฆฐ ๋ฌธ์ ์ค๋ต ๋ ธํธ.
- ํต์ฌ — KDS vs Firehose, Glue Crawler/Job/Catalog ์ญํ ์์ ๊ตฌ๋ถ.
- ์ค์ (3h) — Domain 2: S3 ์คํ ๋ฆฌ์ง ํด๋์ค, Redshift DISTKEY/SORTKEY, DynamoDB ํํฐ์ ํค ์ค๊ณ.
- ์คํ (3h) — Domain 4: IAM/KMS/Secrets Manager/Macie/Lake Formation. VPC Endpoint ๊ฐ๋ .
- ์ ๋ (2h) — Domain 3: CloudWatch, Step Functions vs MWAA. CloudTrail vs Config ๊ตฌ๋ถ.
- ํต์ฌ — ํ์ผ ํฌ๋งท ๋น๊ตํ ์๊ธฐ, SSE-S3/KMS/C ๊ตฌ๋ถ, Macie vs GuardDuty ์ฐจ์ด.
- ์ค์ (3h) — Tutorials Dojo ๋ชจ์๊ณ ์ฌ 65๋ฌธ์ . ๋ฌธ์ ํจํด 30๊ฐ ๋์ ํด์ ํ๊ธฐ.
- ์คํ (2h) — ์ค๋ต ์์ธ ๋ถ๋ฅ: ๊ฐ๋ ๋ฏธ์ vs ํท๊ฐ๋ฆผ vs ์ค์. ๊ฐ๋ ๋ฏธ์๋ง ์ฌํ์ต.
- ์ ๋ (2h) — ์ฝ์ ๋๋ฉ์ธ ์ง์ค ๋ณต์ต. ์ํคํ ์ฒ ๋ค์ด์ด๊ทธ๋จ ์์ผ๋ก ๊ทธ๋ฆฌ๊ธฐ.
- ํต์ฌ — 720์ = 65๋ฌธ์ ์ค 47๊ฐ ์ด์ ์ ๋ต. ํจํด ๋งค์นญ ์๋ ๋์ด๊ธฐ.
๐ ์ถ์ฒ ํ์ต ์๋ฃ
- AWS ๊ณต์: DEA-C01 ์ํ ๊ฐ์ด๋ (aws.amazon.com/certification) — ๋ฌด๋ฃ, ํ์ ์ ๋
- ๊ฐ์: Stephane Maarek์ Udemy AWS DEA ๊ฐ์ — ์๋ง ์๋น, ํ๋ฆฌํฐ ์ต๊ณ
- ๋ชจ์๊ณ ์ฌ: Tutorials Dojo DEA Practice Exams — ์ค์ ๊ณผ ๊ฐ์ฅ ์ ์ฌํ ํ๋ฆฌํฐ
- ๋ฌด๋ฃ ๊ธฐ์ถ: Examtopics.com DEA ์น์ — ์ต์ ๊ธฐ์ถ ๊ณต์ , ์ปค๋ฎค๋ํฐ ํด์ค ์ฐธ๊ณ
- ํธ์ฆ์จ: AWS Free Tier๋ก Glue, Athena, Kinesis Firehose ์ง์ ์ค์ต ๊ฐ๋ ฅ ์ถ์ฒ
๐ก ํฉ๊ฒฉ ์ ๋ต ํต์ฌ ํ
โ ์ํ ๋น์ผ ์ฒดํฌ๋ฆฌ์คํธ
- ์ ๋ถ์ฆ 2๊ฐ ์ง์ฐธ (์ ๋ถ์ฆ + ์ ์ฉ์นด๋ ๋ฑ) — Pearson VUE ๊ท์ ํ์ธ
- ์ํ 30๋ถ ์ ์ ์ฅ (์จ๋ผ์ธ ์ํ ์ ํ๊ฒฝ ์ ๊ฒ ํ์)
- ๋ชจ๋ฅด๋ ๋ฌธ์ Flag ํ์ ํ ๋ง์ง๋ง์ ์ฌ๊ฒํ
- 720์ = ์ฝ 72% ์ ๋ต๋ฅ . ์๋ฒฝํ์ง ์์๋ ํฉ๊ฒฉ ๊ฐ๋ฅ
- ์ฒซ ๋ฒ์งธ ์ง๊ด์ ๋ฏฟ์ด๋ผ — ์ฌ๊ฒํ ์ ๋ต ๋ฐ๊พธ๋ฉด ํ๋ฆฌ๋ ๊ฒฝ์ฐ๊ฐ ๋ ๋ง๋ค