데이터 수집 서비스 완벽 정리 | DEA-C01
AWS Certified Data Engineer - Associate(DEA-C01) 시험에서 도메인 1: 데이터 수집 및 변환(34%)은 가장 비중이 높은 영역입니다. 이 도메인의 핵심 주제는 AWS 데이터 수집 서비스 간 차이점을 명확히 이해하는 것입니다. 각 서비스의 특성과 적합한 사용 시나리오를 파악하면 시험 문제에서 올바른 서비스를 선택할 수 있습니다.
---
메시지 전달 보장 방식 (Delivery Semantics)
데이터 파이프라인에서 메시지를 얼마나 정확하게 전달하는가는 서비스 선택의 핵심 기준입니다. 전달 보장 방식은 세 가지로 구분됩니다.
| 방식 | 설명 | 특징 | |------|------|------| | At Most Once | 최대 한 번 전달 — 유실 가능 | 낮은 가치 데이터 또는 즉시 처리 필요 시 사용 | | At Least Once | 최소 한 번 전달 — 중복 가능 | 가장 일반적; 체크포인트로 재처리 지원 | | Exactly Once | 정확히 한 번 전달 | 멱등성(Idempotency)과 At Least Once 조합으로 구현 |
SQS FIFO와 DynamoDB Streams는 Exactly Once를 보장하며, Kinesis Data Streams, Amazon MSK 등 대부분의 스트리밍 서비스는 At Least Once 방식을 따릅니다.
---
서비스별 핵심 스펙 비교
각 서비스의 전달 보장 수준, 순서 보장 여부, 데이터 보존 기간, 병렬 소비 가능 여부, 최대 메시지 크기를 정리하면 다음과 같습니다.
| 서비스 | 전달 보장 | 순서 보장 | 데이터 보존 | 병렬 소비 | 메시지 크기 | |--------|-----------|-----------|-------------|-----------|-------------| | DynamoDB Streams | Exactly Once | 예 | 24시간 | 예 | 400 KB | | Kinesis Data Streams | At Least Once | 예 | 24시간 (기본) | 예 | 1 MB | | Kinesis Firehose | At Least Once | 아니요 | N/A | 아니요 | 목적지 크기 | | Amazon MSK | At Least Once | 예 | 설정 가능 | 예 | 다양 | | SQS Standard | At Least Once | 아니요 | 최대 14일 | 아니요 | 256 KB | | SQS FIFO | Exactly Once | 예 | 기본 4일 (최대 14일) | 아니요 | 256 KB |
Kinesis Firehose는 순서 보장과 병렬 소비가 지원되지 않지만, 완전 관리형 자동 스케일링으로 S3, Redshift, OpenSearch 등에 데이터를 적재하는 데 최적화되어 있습니다.
---
Kinesis Data Streams vs Kinesis Firehose
두 서비스는 모두 스트리밍 데이터를 다루지만 목적이 다릅니다. 실시간으로 데이터를 처리하거나 세밀한 제어가 필요한 경우에는 Kinesis Data Streams를 사용하고, 데이터 레이크나 스토어에 자동으로 적재하려면 Kinesis Firehose를 선택합니다.
Kinesis Data Streams의 주요 특징은 다음과 같습니다.
샤드(Shard) 기반 스케일 아웃: 샤드 1개 = 입력 1 MB/s, 출력 2 MB/s 처리량은 직접 관리해야 하지만 세밀한 제어가 가능 비용: 샤드 시간당 + PUT 페이로드 단위
Kinesis Firehose의 주요 특징은 다음과 같습니다.
완전 관리형으로 수동 개입 없이 자동 스케일 데이터 형식 변환 시 추가 비용 발생 S3, Redshift, OpenSearch, Splunk 등 목적지에 직접 연결
---
AWS Glue vs AWS DMS
AWS Glue와 AWS DMS는 모두 데이터를 이동시키는 서비스이지만 사용 목적이 다릅니다. 데이터베이스를 AWS로 이전할 때는 DMS를 사용하고, S3나 RDS의 데이터를 변환하여 적재할 때는 Glue를 선택합니다.
| 비교 항목 | AWS Glue | AWS DMS | |-----------|----------|---------| | 주 용도 | ETL / 데이터 변환 및 적재 | 데이터베이스 마이그레이션 | | 스케일 방식 | DPU(Data Processing Unit) 수 지정 | EC2 복제 인스턴스 크기 조정 | | 내결함성 | 기본 3회 재시도 + SNS 알림 | Multi-AZ 옵션 | | 비용 | 크롤러 및 ETL 작업 초 단위 과금 | 인스턴스 타입 + 스토리지 + 데이터 전송 |
---
Amazon MSK vs Apache Kafka on EC2
Amazon MSK는 AWS가 완전 관리하는 Kafka 서비스입니다. 관리 오버헤드를 줄이고 싶다면 MSK를 선택하고, 완전한 제어 권한이 필요하다면 EC2에 Kafka를 직접 설치합니다.
| 항목 | Amazon MSK | Apache Kafka on EC2 | |------|------------|---------------------| | 관리형 | 예 (AWS 완전 관리) | 아니요 (직접 운영) | | 브로커 수 | 최대 30개 (증가 요청 가능) | 무제한 | | Multi-AZ | 설정 가능 | 설정 가능 | | 비용 구조 | 관리형 요금 | 인프라 비용 + 운영 비용 |
---
서비스별 핵심 키워드 요약
시험에서 빠르게 서비스를 식별할 수 있도록 각 서비스의 핵심 키워드를 정리합니다.
| 서비스 | 핵심 키워드 | |--------|-------------| | Kinesis Data Streams | 실시간, 샤드, At Least Once, 1 MB | | Kinesis Firehose | 자동 스케일, 데이터 레이크 적재, 순서 없음 | | SQS Standard | 큐, At Least Once, 순서 없음, 256 KB | | SQS FIFO | 큐, Exactly Once, 순서 보장, 300 TPS | | Amazon MSK | Kafka 관리형, At Least Once, 최대 30 브로커 | | AWS Glue | ETL, DPU 스케일, Spark, 3회 재시도 | | AWS DMS | DB 마이그레이션, EC2 기반, Multi-AZ |
---
DEA-C01 시험에서 데이터 수집 영역은 서비스 간 차이점을 명확히 파악하는 것이 핵심입니다. 전달 보장 방식, 순서 보장 여부, 데이터 보존 기간은 자주 출제되는 항목이므로 위 표를 기준으로 확실히 정리해 두시기 바랍니다.