Pub/Sub: o que é e quando usar?

O Pub/Sub pode ajudar sua empresa a manter a comunicação confiável entre seus serviços. Este é um recurso de mensagens assíncronas, o que significa que ajuda suas ferramentas a enviar, receber e filtrar eventos ou fluxos de dados, oferece armazenamento durável de mensagens, entrega de mensagens em ordem escalável, disponibilidade e desempenho consistentemente alto em qualquer escala.

O Pub/Sub é extremamente útil para comunicar quando algo ruim acontece no fluxo de trabalho, permitindo notificar as equipes certas se um sistema ou serviço falhar. 

Se você precisa conectar vários aplicativos de serviços ou fontes de dados, o Cloud Pub/Sub é ideal! Entenda a seguir como funciona este serviço de streaming de dados do Google Cloud.

Pub/Sub: o serviço de streaming de dados do Google Cloud

O Pub/Sub é uma ferramenta utilizada para capturar dados de variadas fontes e distribuí-los entre aplicações. O serviço fornece mensagens confiáveis e em tempo real em um serviço global gerenciado que ajuda você a criar aplicativos simples, confiáveis e flexíveis.

A replicação de mensagens síncrona e entre zonas e o acompanhamento do recebimento de cada mensagem garantem entregas confiáveis a qualquer escala. Já o escalonamento e provisionamento automáticos sem partições eliminam o planejamento e garantem que as cargas de trabalho estejam prontas para produção desde o primeiro dia.

A filtragem, a entrega de mensagens inativas e a espera exponencial não sacrificam a escala e ajudam a simplificar seus aplicativos. Além disso, o Pub/Sub possui integração nativa com Dataflow, permitindo o processamento e integrações confiáveis e expressivas dos fluxos de eventos em Java, Python e SQL. O Pub/Sub também possui integração nativa com o Bigquery, possibilitando a inserção das mensagens diretamente no Bigquery sem precisar passar pelo Dataflow, por exemplo.

Assim, o Pub/Sub é executado em qualquer região do Google Cloud no mundo para que você possa usá-lo facilmente em qualquer lugar. Não é preciso provisionar o Pub/Sub, ele dimensiona a entrega global de dados automaticamente de zero para milhões de mensagens por segundo. Com os produtores de dados do Pub/Sub, você não precisa alterar configurações quando os consumidores de seus dados mudam. Basta publicar os dados uma vez e o próprio serviço gerencia a distribuição. 

É possível configurar o Pub/Sub entre serviços ou aplicativos definindo tópicos e depois assinaturas, o que permite que os serviços recebam as mensagens publicadas nesses tópicos. Isso significa que a comunicação de um-para-muitos seja mais simples para distribuir a análise de imagens em lote por vários colaboradores ou enviar logs do seu sistema de segurança para serviços de processamento e análise de arquivamento. 

Ou então, se você tiver um fluxo constante de dados, poderá usar o Pub/Sub para transmitir esses dados para o BigQuery ou o Dataflow para processamento inteligente. Juntos, Dataflow e Pub/Sub oferecem uma experiência integrada e fácil de operar que possibilita análises em tempo real para empresas que não têm grandes equipes de engenheiros de dados especializados.

Recursos oferecidos pelo Pub/Sub

Entre os principais benefícios de utilizar o recurso de mensagens assíncronas da plataforma Google Cloud, estão:

• Ingestão de eventos para streaming no BigQuery, data lakes ou bancos de dados operacionais;
• Entrega de mensagens em ordem e em qualquer ordem pelo menos uma vez com os modos pull e push;
• Sistema de filas ou de mensagens autônomo, seguro e escalonável;
• Proteção de dados com controles de acesso refinado e criptografia sempre ativada; 
• A integração nativa com Dataflow (processamento de fluxos de evento em Java, Python e SQL);
• Entrega em ordem e em escala;
• Processamento de custos otimizado com Pub/Sub Lite.

Vantagens de usar o Pub/Sub

Alta disponibilidade simplificada

A replicação de mensagens síncrona e entre zonas e o acompanhamento do recebimento de cada mensagem, o que garante entregas confiáveis a qualquer escala.

Provisionamento automatizado

Escalonamento e provisionamento automáticos sem partições dispensam planejamento e permitem que as cargas de trabalho estejam prontas para produção desde o início.

Fundação simplificada de sistemas de dados em tempo real

O Pub/Sub simplifica o armazenamento de pequenos registros em qualquer volume, um ponto de entrada para pipelines em tempo real e em lote que alimentam o BigQuery, data lakes e bancos de dados operacionais. Use-a com pipelines de ETL/ELT no Dataflow.   

Google Cloud: soluções de ingestão e coleta de dados 

A Plataforma Google Cloud oferece soluções de armazenamento de dados com análise (data warehouse), bem como serviços de transformação de dados baseadas em processos ETL —  do inglês Extract Transform Load (Extrair Transformar Carregar) — necessários para limpar, filtrar, agregar o dado de maneira que ele possa ser útil.

Dentre os recursos do Cloud, o Pub/Sub, juntamente com o Dataflow, atendem aos principais desafios na hora de analisar dados em tempo real, uma vez que oferecem desempenho, dimensionamento, disponibilidade, segurança e muito mais, tudo de forma automática.

Crie uma cultura orientada por dados e impulsione sua Jornada de Transformação Digital com a Geoambiente! Transforme-se numa empresa com Cultura Data Driven, onde a ciência de dados e analytics fazem parte da estratégia global e da cultura do negócio.

Nosso time é composto por especialistas certificados, sempre atualizados sobre os recursos, tecnologias e novos lançamentos do Google. Estamos presentes em todas as fases do projeto, desde a recomendação da API ideal, passando pela implementação e uso da plataforma até o acompanhamento de suporte mensal.

Fale com os nossos especialistas

Conteúdo recomendado:

Jéssica Cruz

Data Engineer
Com formação em Banco de Dados e Certificação Google Professional Data Engineer, é especialista em engenharia e pipelines de dados, análise de dados e desenvolvimento de modelos de machine learning.