Serviços de Ingestão de Dados: Guia Completo | DEA-C01
No exame AWS Certified Data Engineer - Associate (DEA-C01), o Domínio 1: Ingestão e Transformação de Dados (34%) tem o maior peso. O foco central deste domínio é entender as diferenças entre os serviços de ingestão de dados da AWS. Conhecer as características de cada serviço e seus casos de uso apropriados permite selecionar o serviço correto nos cenários do exame.
---
Semântica de Entrega (Delivery Semantics)
A confiabilidade com que um serviço entrega mensagens é um critério fundamental para a seleção de serviços. Existem três modelos de garantia de entrega.
| Modelo | Descrição | Características | |--------|-----------|-----------------| | At Most Once | Entregue no máximo uma vez — perda possível | Usado para dados de baixo valor ou quando processamento imediato é necessário | | At Least Once | Entregue pelo menos uma vez — duplicatas possíveis | O mais comum; suporta reprocessamento via checkpoints | | Exactly Once | Entregue exatamente uma vez | Implementado combinando Idempotência com At Least Once |
SQS FIFO e DynamoDB Streams garantem entrega Exactly Once. A maioria dos serviços de streaming, incluindo Kinesis Data Streams e Amazon MSK, segue o modelo At Least Once.
---
Comparação de Especificações por Serviço
A tabela a seguir resume o nível de garantia de entrega, suporte a ordenamento, retenção de dados, consumo paralelo e tamanho máximo de mensagem para cada serviço.
| Serviço | Garantia de Entrega | Ordenamento | Retenção de Dados | Consumo Paralelo | Tamanho da Mensagem | |---------|---------------------|-------------|-------------------|-----------------|---------------------| | DynamoDB Streams | Exactly Once | Sim | 24 horas | Sim | 400 KB | | Kinesis Data Streams | At Least Once | Sim | 24 horas (padrão) | Sim | 1 MB | | Kinesis Firehose | At Least Once | Não | N/A | Não | Tamanho do destino | | Amazon MSK | At Least Once | Sim | Configurável | Sim | Variável | | SQS Standard | At Least Once | Não | Até 14 dias | Não | 256 KB | | SQS FIFO | Exactly Once | Sim | 4 dias (até 14 dias) | Não | 256 KB |
O Kinesis Firehose não suporta ordenamento nem consumo paralelo, mas seu auto-scaling totalmente gerenciado o torna ideal para carregar dados no S3, Redshift e OpenSearch.
---
Kinesis Data Streams vs Kinesis Firehose
Ambos os serviços lidam com dados de streaming, mas servem a propósitos diferentes. Use o Kinesis Data Streams quando precisar de processamento de dados em tempo real ou controle detalhado. Escolha o Kinesis Firehose quando precisar de carregamento automatizado em um data lake ou armazenamento de dados.
Características principais do Kinesis Data Streams:
Escalonamento horizontal baseado em shards: 1 shard = 1 MB/s de entrada, 2 MB/s de saída O throughput deve ser gerenciado manualmente, mas permite controle detalhado Preços: por hora de shard + unidades de payload PUT
Características principais do Kinesis Firehose:
Totalmente gerenciado — escala automaticamente sem intervenção manual Custos adicionais se aplicam para conversão de formato de dados Entrega direta para S3, Redshift, OpenSearch, Splunk e outros destinos
---
AWS Glue vs AWS DMS
Tanto o AWS Glue quanto o AWS DMS movem dados, mas com propósitos diferentes. Use o DMS ao migrar um banco de dados para a AWS, e use o Glue ao transformar e carregar dados do S3 ou RDS.
| Comparação | AWS Glue | AWS DMS | |------------|----------|---------| | Uso Principal | ETL / transformação e carregamento de dados | Migração de banco de dados | | Escalamento | Especifique o número de DPUs (Unidades de Processamento de Dados) | Ajustar o tamanho da instância de replicação EC2 | | Tolerância a Falhas | 3 tentativas por padrão + notificação SNS | Opção Multi-AZ | | Preços | Cobrança por segundo para crawlers e trabalhos ETL | Tipo de instância + armazenamento + transferência de dados |
---
Amazon MSK vs Apache Kafka no EC2
O Amazon MSK é um serviço Kafka totalmente gerenciado pela AWS. Escolha o MSK para reduzir a sobrecarga de gerenciamento, ou instale o Kafka diretamente no EC2 quando precisar de controle completo.
| Item | Amazon MSK | Apache Kafka no EC2 | |------|------------|---------------------| | Gerenciado | Sim (totalmente gerenciado pela AWS) | Não (autogerenciado) | | Quantidade de Brokers | Até 30 (pode ser aumentado sob solicitação) | Ilimitado | | Multi-AZ | Configurável | Configurável | | Estrutura de Custos | Taxa de serviço gerenciado | Custo de infraestrutura + custo operacional |
---
Resumo de Palavras-Chave por Serviço
Use as seguintes palavras-chave para identificar rapidamente o serviço correto nas questões do exame.
| Serviço | Palavras-Chave | |---------|----------------| | Kinesis Data Streams | Tempo real, shard, At Least Once, 1 MB | | Kinesis Firehose | Auto-scaling, carregamento em data lake, sem ordenamento | | SQS Standard | Fila, At Least Once, sem ordenamento, 256 KB | | SQS FIFO | Fila, Exactly Once, ordenamento garantido, 300 TPS | | Amazon MSK | Kafka gerenciado, At Least Once, até 30 brokers | | AWS Glue | ETL, escalamento DPU, Spark, 3 tentativas | | AWS DMS | Migração de BD, baseado em EC2, Multi-AZ |
---
A chave para o sucesso no domínio de ingestão de dados do DEA-C01 é entender claramente as diferenças entre os serviços. Semântica de entrega, garantias de ordenamento e períodos de retenção de dados são tópicos frequentemente avaliados, portanto certifique-se de revisar as tabelas acima minuciosamente.