O Google acaba de anunciar um recurso que simplifica a exportação de dados tabulares do Earth Engine no BigQuery. Tanto o Google Earth Engine (GEE), quanto o BigQuery têm o objetivo de tornar o processamento de dados em grande escala acessível e utilizável por uma gama de aplicações.
Enquanto o Earth Engine tende a se concentrar no processamento de imagens (raster), o BigQuery é otimizado para processar grandes conjuntos de dados tabulares. A novidade simboliza o primeiro grande passo rumo a uma interoperabilidade entre as duas plataformas, melhorando a facilidade de uso para fluxos de trabalho que utilizam ambos os serviços e permitindo novas análises que combinam dados raster e tabulares.
Conector entre Earth Engine e BigQuery
Trata-se de um conector que facilita as análises em grande escala, uma vez que as imagens de satélite do GEE podem ser processadas agora diretamente no BigQuery. Isso permite gerar análises gráficas por meio do BigQuery Geo Viz, por exemplo, bem como integrar esses dados ao BigQuery ML e Vertex AI (que possui integração com o BigQuery) para aplicação de técnicas avançadas de analytics, como inteligência artificial e machine learning. Ou seja, agora também é possível rodar os modelos do GEE dentro do Vertex AI.
Anteriormente, os usuários migravam dados do Earth Engine para o BigQuery, o que exigia uma atenção à codificação, ao armazenamento intermediário e aos tipos de dados. Hoje, esse processo exige menos esforço: basta uma linha de código para transferir dados do Earth Engine para o BigQuery. Esta nova função Export.table.toBigQuery() simplifica vários novos fluxos, incluindo:
– Combinar dados do Earth Engine com fontes de dados do BigQuery para obter uma visão mais completa de um problema específico;
– Usando as poderosas ferramentas de análise do BigQuery para extrair insights dos dados do Earth Engine;
– Compartilhar dados do Earth Engine com usuários compatíveis com SQL de uma forma que seja acessível para eles.
Conexão entre Google Earth Engine e BigQuery na prática
Afinal, o que esse conector muda nas análises de imagens geoespaciais? Para entender como esse conector já está sendo usando na prática, confira a seguir alguns cases de sucesso:
Melhoria da sustentabilidade das culturas
A startup Woza, parceira do Google, desenvolve tecnologia de inteligência geoespacial com apoio do Earth Engine e do BigQuery, com intuito de apoiar governos e empresas a enfrentar desafios globais, como mudanças climáticas, risco geográfico e sustentabilidade.
Com o novo conector, a Woza é capaz de integrar variáveis novas e mais complexas em suas soluções de sustentabilidade para culturas e cadeias de fornecimento. Os insights e soluções de sustentabilidade acionáveis que a Woza fornece ajudam para empresas de bens de consumo embalados (CPGs) que buscam otimizar suas cadeias de fornecimento, identificando os fornecedores e fazendas mais responsáveis ambientalmente.
O acesso à informação baseada na nuvem, sem necessidade de infraestrutura técnica, permite que pequenos e médios produtores validem os seus processos de forma instantânea e altamente acessível, inaugurando a possibilidade de entrar em mercados mais rigorosos, como a União Europeia e EUA.
A empresa de tecnologia agrícola Sima criou uma solução agrícola inteligente que permite que as empresas de bem de consumo monitorem seus campos, localizem geograficamente dados, analisem informações e gerem pedidos de aplicação de pulverização. Para construir esta solução, a Sima emprega inovações da Woza que lhes permitem realizar validações de sustentabilidade e apoiar e melhorar a produtividade em campo.
Na solução da Sima, as informações são exibidas por meio de grades, possibilitando que os atores financeiros e operacionais da cadeia de abastecimento identifiquem melhor as áreas potenciais para cultivo que atendam às diretrizes de sustentabilidade, ao mesmo tempo que identificam e desqualificam áreas que não atendem aos critérios de sustentabilidade.
Esse tipo de análise geoespacial agregada do Earth Engine e do BigQuery permite a otimização de recursos para grandes regiões, o que não é viável com análises manuais, no local, campo por campo.
“A recente fusão do BigQuery com o Google Earth Engine é a chave para desbloquear novas possibilidades para arquiteturas geoespaciais de ponta”, afirma Sebastian Priolo, CEO da Woza. “Essa integração abre caminho para a transformação de imagens de satélite em dados tabulares, ampliando os horizontes do tratamento de dados geoespaciais. Juntos, eles formam uma dupla dinâmica que nos permite criar aplicativos escaláveis e de alto desempenho com uma facilidade sem precedentes.”
Detecção de estradas inundadas
Eventos climáticos extremos têm um impacto devastador em todo o mundo. As inundações, as ondas de calor e a seca têm custos humanos e financeiros substanciais, causando mortalidade e devastação de casas e propriedades. O exemplo a seguir mostra como usar mosaicos de dados de satélite do Earth Engine e conjuntos de dados de estradas abertas do BigQuery, processando os dados em ambos os ambientes para determinar quais segmentos de estradas são afetados por uma inundação no Reino Unido.
O Catálogo de Dados do Earth Engine contém a coleção Copernicus Sentinel Synthetic Aperture Radar. Este conjunto de dados públicos é composto por imagens de radar que medem como as superfícies espalham as ondas de luz de volta ao sensor de um satélite. Corpos de água estagnados agem como espelhos para sinais de rádio, refletindo a luz do radar do satélite em vez de espalhá-la de volta para o sensor de imagem. A maioria das superfícies naturais não possui essa propriedade, o que significa que é possível diferenciar corpos d’água estagnados de seus arredores procurando manchas “escuras” nas imagens (ou seja, áreas com baixos valores de retroespalhamento).
Assim, podemos preparar os dados de entrada selecionando uma área de interesse e filtrando imagens com polarização vertical-vertical (“VV”), enviando luz polarizada verticalmente e medindo a luz polarizada verticalmente que é retornada. A ideia é identificar os polígonos inundados no BigQuery, onde podem ser usados em combinação com os vários conjuntos de dados disponíveis publicamente que estão hospedados lá. O conjunto de dados público “planet_ways” do OpenStreetMap contém informações sobre segmentos de estradas, que podem ser combinados com os dados exportados do Earth Engine.
Leia mais: Google Earth Engine: como BigQuery e Looker podem potencializar análises geoespaciais
Prevenção a eventos climáticos
Os exemplos acima citam o ponto de trabalhar o dado geoespacial somado a questão da visualização dentro do BigQuery Gis. Mas há outras possibilidades, como por exemplo o uso do BigQuery ML junto a esses dados. Funciona assim: a informação é gerada no GEE, posteriormente exportada diretamente do Google Earth Engine para o BigQuery e, por fim, esses dados são utilizados para entrada de modelos presentes no próprio BigQuery. A vantagem, nesse caso, é que se você tem uma equipe de analistas com uma boa proficiência em SQL, consegue agilizar o processo de ativar os dados através de um modelo de machine learning.
O cruzamento com outros tipos de dados também é facilitado. Por exemplo, se você tem acesso a dados referentes a prevenção de catástrofe, possui um conjunto de cidades as quais monitora e mantém informações históricas diversas no BigQuery, é possível usar esses dados geográficos dessas áreas como entrada para uma Task do GEE. No Google Earth Engine, obtém-se informações como nível de precipitação sobre essas cidades e é possível exportar esses dados diretamente com o uso do conector, e dentro do BigQuery se enriquece as informações históricas com o dado do GEE. Além disso, utiliza-se o BigQuery ML para gerar um modelo regressivo que faça a predição da chance de ocorrer um deslizamento em cima desse dado enriquecido.
Como ilustrado no exemplo, é possível trabalhar extração, transformação, análise e ativação desses dados de maneira completa utilizando esse ecossistema, sem depender de um processo externo para carregar informações que anteriormente viriam através de um CSV extenso.
A Geoambiente é Parceira Premier do Google Cloud e oferece ao mercado a solução Google Cloud enquanto plataforma, além de serviços desenvolvidos pelo nosso time de especialistas com base na tecnologia em nuvem.
Atendemos empresas que são referência de mercado (tanto setor privado quanto público). Sabemos como maximizar o poder da plataforma para atingir os objetivos do seu negócio.
Para saber mais informações sobre como a Geoambiente pode ajudar sua empresa a começar a jornada na nuvem, entre em contato com os nossos especialistas de Google Cloud.
Data Engineer
Com formação em Banco de Dados e Certificação Google Professional Data Engineer, é especialista em engenharia e pipelines de dados, análise de dados e desenvolvimento de modelos de machine learning.
