Documenta��o do Dataflow

O Dataflow � um servi�o gerenciado para executar uma ampla variedade de padr�es de processamento de dados. A documenta��o neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instru��es de uso dos recursos de servi�o.

O SDK do Apache Beam � um modelo de programa��o de c�digo aberto que permite desenvolver pipelines de lote e de streaming. Voc� cria pipelines com um programa do Apache Beam e os executa no servi�o do Dataflow. A documenta��o do Apache Beam fornece informa��es conceituais aprofundadas e material de refer�ncia para o modelo de programa��o, os SDKs e outros executores do Apache Beam.

Para aprender os conceitos b�sicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O reposit�rio do Manual do Dataflow tamb�m fornece pipelines prontos para lan�amento e independentes, al�m dos casos de uso mais comuns do Dataflow.

Apache, Apache Beam, Beam, o logotipo do Beam e o mascote Firefly s�o marcas registradas da Apache Software Foundation nos Estados Unidos e/ou em outros pa�ses.

Recursos de documenta��o

Encontre guias de in�cio r�pido, consulte refer�ncias de chaves e receba ajuda para problemas comuns.

Guias

Refer�ncia

Recursos

Conhe�a o treinamento autoguiado do Google Cloud Skills Boost, os casos de uso, as arquiteturas de refer�ncia e os exemplos de c�digo com exemplos de como usar e conectar os servi�os do Google Cloud.

Executar cargas de trabalho de HPC altamente paralelas

Com o Dataflow, � poss�vel executar cargas de trabalho altamente paralelas em um �nico pipeline, melhorando a efici�ncia e facilitando o gerenciamento do fluxo de trabalho.

Streaming

Executar infer�ncia com o Dataflow ML

O Dataflow ML permite usar o Dataflow para implantar e gerenciar pipelines completos de machine learning (ML). Use modelos de ML para fazer infer�ncias locais e remotas com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar seus dados para o treinamento de modelo e processar os resultados dos modelos.

ML Streaming

Criar um pipeline de streaming de e-commerce

Criar um aplicativo de amostra de e-commerce completo que transmite dados de uma loja on-line para o BigQuery e o Bigtable. O aplicativo de amostra ilustra casos comuns e pr�ticas recomendadas para implementar a an�lise de dados de streaming e a intelig�ncia artificial (IA) em tempo real.

e-commerce Streaming