Servicios de Ingesta de Datos: Guía Completa | DEA-C01
En el examen AWS Certified Data Engineer - Associate (DEA-C01), el Dominio 1: Ingesta y Transformación de Datos (34%) tiene el mayor peso. El núcleo de este dominio es comprender las diferencias entre los servicios de ingesta de datos de AWS. Conocer las características de cada servicio y sus casos de uso apropiados le permite seleccionar el servicio correcto en los escenarios del examen.
---
Semántica de Entrega (Delivery Semantics)
La fiabilidad con la que un servicio entrega mensajes es un criterio fundamental para la selección de servicios. Existen tres modelos de garantía de entrega.
| Modelo | Descripción | Características | |--------|-------------|-----------------| | At Most Once | Entregado como máximo una vez — pérdida posible | Se utiliza para datos de bajo valor o cuando se requiere procesamiento inmediato | | At Least Once | Entregado al menos una vez — duplicados posibles | El más común; admite reprocesamiento mediante puntos de control | | Exactly Once | Entregado exactamente una vez | Se implementa combinando Idempotencia con At Least Once |
SQS FIFO y DynamoDB Streams garantizan la entrega Exactly Once. La mayoría de los servicios de streaming, incluidos Kinesis Data Streams y Amazon MSK, siguen el modelo At Least Once.
---
Comparación de Especificaciones por Servicio
La siguiente tabla resume el nivel de garantía de entrega, soporte de ordenamiento, retención de datos, consumo paralelo y tamaño máximo de mensaje para cada servicio.
| Servicio | Garantía de Entrega | Orden | Retención de Datos | Consumo Paralelo | Tamaño de Mensaje | |----------|---------------------|-------|-------------------|-----------------|-------------------| | DynamoDB Streams | Exactly Once | Sí | 24 horas | Sí | 400 KB | | Kinesis Data Streams | At Least Once | Sí | 24 horas (predeterminado) | Sí | 1 MB | | Kinesis Firehose | At Least Once | No | N/A | No | Tamaño del destino | | Amazon MSK | At Least Once | Sí | Configurable | Sí | Variable | | SQS Standard | At Least Once | No | Hasta 14 días | No | 256 KB | | SQS FIFO | Exactly Once | Sí | 4 días (hasta 14 días) | No | 256 KB |
Kinesis Firehose no admite ordenamiento ni consumo paralelo, pero su escalado automático completamente administrado lo hace óptimo para cargar datos en S3, Redshift y OpenSearch.
---
Kinesis Data Streams vs Kinesis Firehose
Ambos servicios manejan datos en streaming, pero sirven para propósitos diferentes. Use Kinesis Data Streams cuando necesite procesamiento de datos en tiempo real o control detallado. Elija Kinesis Firehose cuando necesite carga automatizada en un data lake o almacén de datos.
Características clave de Kinesis Data Streams:
Escalado horizontal basado en particiones (Shards): 1 shard = 1 MB/s de entrada, 2 MB/s de salida El rendimiento debe gestionarse manualmente, pero permite un control detallado Precios: por hora de shard + unidades de carga útil PUT
Características clave de Kinesis Firehose:
Completamente administrado — escala automáticamente sin intervención manual Se aplican costos adicionales por conversión de formato de datos Entrega directa a S3, Redshift, OpenSearch, Splunk y otros destinos
---
AWS Glue vs AWS DMS
Tanto AWS Glue como AWS DMS mueven datos, pero con propósitos diferentes. Use DMS al migrar una base de datos a AWS, y use Glue al transformar y cargar datos desde S3 o RDS.
| Comparación | AWS Glue | AWS DMS | |-------------|----------|---------| | Uso Principal | ETL / transformación y carga de datos | Migración de bases de datos | | Escalado | Especifique el número de DPUs (Unidades de Procesamiento de Datos) | Ajustar el tamaño de la instancia de replicación EC2 | | Tolerancia a Fallos | 3 reintentos por defecto + notificación SNS | Opción Multi-AZ | | Precios | Facturación por segundo para crawlers y trabajos ETL | Tipo de instancia + almacenamiento + transferencia de datos |
---
Amazon MSK vs Apache Kafka en EC2
Amazon MSK es un servicio Kafka completamente administrado por AWS. Elija MSK para reducir la sobrecarga de administración, o instale Kafka directamente en EC2 cuando necesite control completo.
| Elemento | Amazon MSK | Apache Kafka en EC2 | |----------|------------|---------------------| | Administrado | Sí (completamente administrado por AWS) | No (autooperado) | | Cantidad de Brokers | Hasta 30 (se puede aumentar bajo solicitud) | Ilimitado | | Multi-AZ | Configurable | Configurable | | Estructura de Costos | Tarifa de servicio administrado | Costo de infraestructura + costo operativo |
---
Resumen de Palabras Clave por Servicio
Use las siguientes palabras clave para identificar rápidamente el servicio correcto en las preguntas del examen.
| Servicio | Palabras Clave | |----------|----------------| | Kinesis Data Streams | Tiempo real, shard, At Least Once, 1 MB | | Kinesis Firehose | Escalado automático, carga en data lake, sin orden | | SQS Standard | Cola, At Least Once, sin orden, 256 KB | | SQS FIFO | Cola, Exactly Once, orden garantizado, 300 TPS | | Amazon MSK | Kafka administrado, At Least Once, hasta 30 brokers | | AWS Glue | ETL, escalado DPU, Spark, 3 reintentos | | AWS DMS | Migración de BD, basado en EC2, Multi-AZ |
---
La clave para tener éxito en el dominio de ingesta de datos del DEA-C01 es comprender claramente las diferencias entre los servicios. La semántica de entrega, las garantías de ordenamiento y los períodos de retención de datos son temas frecuentemente evaluados, así que asegúrese de revisar las tablas anteriores a fondo.