Análise em Tempo Real e Looker no CDL: Pub/Sub, Dataflow, Managed Service for Apache Spark e Democratização de Dados

Processamento em lote e em streaming, por que a análise em tempo real importa, o papel do Pub/Sub, Dataflow, Managed Service for Apache Spark (antigo Dataproc) e das consultas contínuas do BigQuery, e como o Looker democratiza o acesso frente ao Data Studio.

Na revisão de agosto de 2026 do guia do exame Cloud Digital Leader, o último item do domínio 2 (cerca de 18%) trata de como a análise inteligente, as ferramentas de business intelligence (BI) e a análise em streaming agregam valor a um negócio. Ele pergunta como o Looker democratiza o acesso aos dados, o valor de analisar no Looker os dados do BigQuery para criar relatórios e painéis em tempo real e integrá-los aos fluxos de trabalho, por que a análise em streaming em tempo real é importante e quais produtos modernizam os pipelines de dados: Pub/Sub, Dataflow e Managed Service for Apache Spark. Dataflow e Pub/Sub também aparecem com frequência no banco de questões, e o Dataproc passou a se chamar Managed Service for Apache Spark em abril de 2026.

Este artigo começa pela diferença entre processamento em lote e em streaming e depois percorre por que a análise em tempo real importa, os produtos que modernizam os pipelines, como o Looker democratiza os dados e os relatórios em tempo real e a integração aos fluxos de trabalho com BigQuery e Looker. A visão geral do pipeline é tratada primeiro em Transformação de dados, e a cadeia de suprimentos de dados da gênese à ativação, em Fundamentos de dados.

---

 

Processamento em lote vs. processamento em streaming

Pense em uma agência dos correios. Separar de uma vez, no fim da tarde, toda a correspondência do dia é processamento em lote; separar cada encomenda assim que chega e colocá-la direto no caminhão de entrega é processamento em streaming.

| Aspecto | Processamento em lote | Processamento em streaming | |------|------|------| | Quando roda | Os dados são reunidos e processados de uma vez em um horário definido | Continuamente, assim que os dados chegam | | Tempo até o resultado | De horas a um dia | Alguns segundos | | Exemplos | Fechamento do mês, relatórios diários de vendas, migração de dados em massa | Detecção de fraude, estoque em tempo real, alertas de IoT | | Exemplos no Google Cloud | Jobs em lote do Dataflow, Managed Service for Apache Spark, BigQuery | Pub/Sub com Dataflow em streaming, consultas contínuas do BigQuery |

Dica para o exame: "Processar os dados no momento em que são gerados e responder em segundos" é streaming; "reunir os dados de um dia e processá-los à noite" é lote. Uma marca do Dataflow é tratar os dois com o mesmo modelo de programação.

---

 

Por que a análise em streaming em tempo real importa

Alguns dados têm prazo de validade curto, como o leite. Dá para impedir uma fraude no momento em que o pagamento acontece, mas, se você só descobre por um relatório na manhã seguinte, o estrago já foi feito. É por isso que o guia do exame descreve a análise em streaming em tempo real como essencial para os negócios modernos.

| Setor | O que a análise em tempo real faz | O que acontece se ela atrasar | |------|------|------| | Finanças | Detecta transações suspeitas no momento do pagamento | As perdas com fraude aumentam | | Varejo | Ajusta estoque e preços em tempo real e personaliza as recomendações | Falta de produtos e vendas perdidas | | Manufatura | Detecta sinais de problema nos equipamentos a partir dos dados de sensores | Quebra de equipamentos e paradas de produção | | Logística | Atualiza a localização dos veículos e a previsão de chegada | Atrasos nas entregas e reclamações de clientes | | Mídia e jogos | Muda conteúdos e eventos conforme o comportamento dos usuários | Os usuários vão embora |

Dica para o exame: As questões em que o "agora" importa, como "enviar um cupom personalizado enquanto o cliente ainda está na loja" ou "avisar antes que a máquina quebre", são respondidas com análise em streaming.

---

 

Os produtos que modernizam os pipelines: Pub/Sub, Dataflow e Managed Service for Apache Spark

Um pipeline de análise em tempo real costuma ser formado pelo Pub/Sub para receber os eventos, pelo Dataflow para processá-los, pelo BigQuery para guardá-los e analisá-los e pelo Looker para exibi-los e conectá-los. Se você já tem jobs criados com Spark ou Hadoop, pode levá-los do jeito que estão para o Managed Service for Apache Spark.

!Um pipeline de análise em tempo real que vai das origens de eventos ao Pub/Sub, Dataflow, BigQuery e Looker, mais o caminho do Managed Service for Apache Spark

| Produto | Papel | Características | Quando se encaixa | |------|------|------|------| | Pub/Sub | Recebe e entrega mensagens (publicadores e assinantes) | Assíncrono, latência típica de cerca de 100 milissegundos, desacopla quem envia de quem recebe | Reunir eventos de muitos dispositivos e aplicativos, conectar sistemas | | Dataflow | Processa streams e lotes juntos | Baseado no Apache Beam, totalmente gerenciado (cria e remove automaticamente as VMs de trabalho), processa cada registro exatamente uma vez por padrão | Transformação e agregação em tempo real, ETL | | Managed Service for Apache Spark | Processamento de código aberto como Spark e Hadoop (antigo Dataproc) | Opções de cluster e serverless; os clusters sobem rápido e são desligados quando não são necessários | Levar jobs existentes de Spark e Hadoop, ciência de dados | | Consultas contínuas do BigQuery | Executam SQL continuamente dentro do BigQuery | Analisam com SQL em tempo real os dados que chegam e exportam os resultados para Pub/Sub, Bigtable e outros | Processamento simples em tempo real só com SQL |

Talvez você se pergunte por que o Pub/Sub é necessário. Se o sistema que envia chama diretamente o sistema que recebe, o remetente trava sempre que o destinatário para, mesmo que por um instante. Com o Pub/Sub funcionando como uma caixa de correio no meio, o remetente só deixa as mensagens e o destinatário as retira no próprio ritmo. Desacoplá-los assim deixa o sistema inteiro mais flexível e robusto.

Dica para o exame: "Receber eventos de milhares de dispositivos e entregá-los a vários sistemas" é o Pub/Sub. "Processar streams e lotes com um só código e sem servidores para gerenciar" é o Dataflow. "Levar para a nuvem os jobs existentes de Hadoop e Spark com o mínimo de mudanças" é o Managed Service for Apache Spark.

---

 

Looker: democratizando o acesso aos dados

Democratizar os dados significa que qualquer pessoa da organização consegue entendê-los e usá-los, e não só os especialistas em dados. O problema é que, quando cada um calcula os números do seu jeito, as reuniões terminam em discussões sobre qual número está certo. O Looker resolve isso fazendo todos usarem o mesmo dicionário.

| Como o Looker faz | Descrição | Efeito | |------|------|------| | Camada semântica (LookML) | Define uma única vez, em um só lugar, métricas como "receita" ou "cliente ativo" | Acaba com a confusão de cada departamento chegar a números diferentes | | Exploração self-service | Explorar dados e criar gráficos com cliques, sem precisar de SQL | Menos tempo pedindo coisas à equipe de análise e esperando | | Conexão direta ao banco de dados | Consulta diretamente bancos de dados como o BigQuery em vez de copiar os dados | Você sempre vê os dados mais recentes | | Painéis e compartilhamento | Criar painéis e agendar o envio ou compartilhá-los | A diretoria e as equipes da linha de frente veem os mesmos números | | Incorporação e APIs | Inserir painéis em outros aplicativos e portais e enviar dados a outros sistemas | A análise entra nas telas onde o trabalho acontece |

Dica para o exame: "Permitir que a organização inteira explore os dados diretamente com definições de métricas consistentes" e "democratizar o acesso aos dados" apontam para o Looker. Quando vir a palavra LookML, pense no Looker.

---

 

BigQuery e Looker: relatórios em tempo real e integração aos fluxos de trabalho

O guia do exame descreve de três formas o valor de analisar e visualizar no Looker os dados do BigQuery: relatórios em tempo real, painéis e integração dos dados aos fluxos de trabalho.

| Uso | Exemplo | |------|------| | Relatórios em tempo real | Os pedidos que chegam ao BigQuery por streaming aparecem no relatório em segundos | | Painéis | A diretoria e as equipes da linha de frente acompanham vendas e estoque por região com os mesmos números | | Integração aos fluxos de trabalho | Avisar o responsável quando o estoque cai abaixo de um limite, inserir painéis por cliente no portal de vendas, repassar os resultados da análise a outros sistemas de negócio |

Dados que não param em um painel, mas levam à próxima ação de alguém: isso é a ativação, a etapa final da cadeia de suprimentos de dados.

Como diferenciar o Looker e o Data Studio

O Google tem duas ferramentas de BI com nomes parecidos. A ferramenta de visualização gratuita que passou de Data Studio para Looker Studio em 2022 voltou a se chamar Data Studio em abril de 2026. O motivo é evitar confundir a ferramenta de visualização pessoal com o Looker, a plataforma de BI corporativa.

| Aspecto | Looker | Data Studio (antigo Looker Studio) | |------|------|------| | Natureza | Plataforma de BI corporativa focada em governança | Ferramenta de visualização e relatórios para pessoas e equipes | | Gestão de métricas | Definidas de forma central na camada semântica do LookML | Cada relatório se conecta sozinho às suas fontes de dados | | Quando se encaixa | Métricas padrão para a empresa inteira, análise incorporada, integração aos fluxos de trabalho | Relatórios rápidos para casos pontuais, painéis de marketing | | Preço | Pago | Gratuito (o Data Studio Pro, pago, é à parte) |

Dica para o exame: "Definições de métricas consistentes em toda a empresa" e "governança" apontam para o Looker; "criar e compartilhar relatórios rápido e de graça" aponta para o Data Studio.

---

 

Referência Rápida do Exame

Os pontos principais para revisar uma última vez antes de entrar na prova.

| Tema | O que lembrar | |------|------| | Lote vs. streaming | Reunir e processar de uma vez vs. continuamente, à medida que os dados chegam | | Por que o streaming é necessário | Decisões em que o "agora" importa, como detecção de fraude,

Voltar à lista do blog