O caminho para uma empresa se tornar data-driven, e conseguir extrair valores dos milhares de dados disponíveis, é a criação de um ecossistema capaz de processar dados de forma holística. Para alavancar uma estratégia de dados, essa arquitetura deve incluir o Data lake (onde são armazenados todos os dados brutos e não tratados), Data warehouse (onde são armazenados todos os dados tratados) e o Data mart (armazenamento de dados que vão suprir relatórios e visões).
Essas tecnologias são encaradas como sistemas separados, porém, a tendência é cada vez mais as linhas que as distinguem se fundam. A Plataforma Google Cloud disponibiliza soluções especializadas para data lake e data warehouse, mas aposta na convergência entre os dois sistemas em um futuro bem próximo. Essa combinação é denominada de “plataforma de dados analíticos” pela provedora de nuvem.
Isso quer dizer que em vez de escolher entre um data lake ou data warehouse, as organizações podem optar por uma solução de ponta a ponta que realiza o gerenciamento de dados e estágios de processamento, da coleta à análise de dados e aprendizado de máquina. Essa plataforma de é capaz de armazenar grandes quantidades de dados em diversos formatos variados sem impactar na latência. Entenda a seguir como ela funciona.
A inovação que permite criar um ecossistema abrangente de dados
O Data Lake é o sistema que reúne dados brutos e processados, formando um repositório centralizado de dados gerados por toda a organização. O processamento pode ser feito em trânsito via ELT, reduzindo a necessidade de copiar conjuntos de dados entre sistemas, o que simplifica a exploração de dados e a governança.
Já o Data Warehouse armazena os dados em uma única fonte, fazendo cópias mínimas dos dados. Essa arquitetura oferece armazenamento de baixo custo em um formato aberto acessível por uma variedade de mecanismos de processamento, além de fornecer recursos avançados de gerenciamento e otimização. Segurança e governança consistentes são essenciais nesse ambiente. Por fim, o data mart é projetado para separar atividades orientadas por dados e por modelo, ou seja, segmentados. Os dados integrados ao data warehouse permitem o carregamento paralelo para facilitar o dimensionamento de grandes implementações.
A vantagem oferecida pela Google Cloud é a possibilidade de integrar as duas soluções. Devido à interoperabilidade entre o portfólio de produtos de análise de dados da GCP, é possível fornecer o fácil acesso aos dados hospedados em locais diferentes, reunindo efetivamente seu data lake e data warehouse em uma única plataforma.
A API de armazenamento do BigQuery é uma das inovações do Google Cloud que tornam isso possível. Ela possibilita tratar um data warehouse como um data lake, permitindo que você acesse os dados que residem no BigQuery da Google Cloud.
Mas o que é o BigQuery? É a solução de armazenamento de dados na nuvem sem servidor, altamente escalonável e econômico, do Google Cloud. Oferece análises em escala de petabytes para facilitar consultas SQL em grandes conjuntos de dados graças ao poder de processamento da infraestrutura do Google. Assim, ele elimina a etapa de provisionamento de recursos, sem contar que a infraestrutura sem servidores oferecida pelo Google realiza toda manutenção relacionada a atualizações, além de utilizar escalonamento automático e agilizar o streaming de dados.
Dessa forma, o BigQuery acaba desempenhando três funções fundamentais em um projeto de dados: data lake, data warehouse e data mart. A união dessas três arquiteturas, essenciais a um projeto de dados, em um único lugar (BigQuery), reflete em dados mais consistentes, facilidade no tratamento de dados e agilidade na realização de consultas SQL.
Por exemplo, você pode usar o Dataform, uma ferramenta para transformação de dados baseado em SQL (SQLX), que basicamente transforma os dados brutos em dados estruturados para que sejam utilizados no data warehouse. Ela permite a realização de testes em dados para garantir a qualidade dos mesmos e o poder computacional do próprio BigQuery para realizar transformações, sem necessidade de servidor.
Você também pode usar a ferramenta Spark para acessar dados que residem no data warehouse sem afetar o desempenho de qualquer outro trabalho que o acesse. Isso é possível graças à arquitetura subjacente, que separa computação e armazenamento. Da mesma forma, o Dataplex, serviço de malha de dados inteligente, oferece recursos de segurança e governança de dados em vários níveis de armazenamento de Lakehouse criados no GCS e no BigQuery.
Vantagens de usar o BigQuery como plataforma de dados:
- Acesso a todos os dados da companhia de forma centralizada (Single Source of Truth por meio do BigQuery)
- Governança de dados controlada via Google Cloud (IAM) + BigQuery
- Possibilidade de construção de novos Data Marts integrando diferentes fontes de informação
- Custos de otimização de Cloud
- Possibilidade de uso de quaisquer dados da companhia para alimentar modelos de Machine Learning (inclusive utilizando BigQuery ML)
- Realização de consultas pesadas em ambiente transacional de produção
- Todo arcabouço tecnológico para tornar-se uma empresa data-driven
- Fácil integração com ferramentas de visualização de dados da GCP (como Looker e Data Studio)
Geoambiente é parceira premier do Google Cloud e oferece ao mercado a solução Google Cloud enquanto plataforma, além de serviços desenvolvidos pelo nosso time de especialistas com base na tecnologia em nuvem.
Quer saber como podemos ajudar a transformar seu negócio também?
Jornalista especializada em tecnologia há mais de 10 anos, com atuação em veículos nacionais e internacionais. Atualmente, é mestranda em Sustentabilidade pela USP, onde pesquisa mudanças climáticas.
