Dataflow
An�lise de streaming para intelig�ncia em tempo real e IA generativa
Maximize o potencial dos seus dados em tempo real. O Dataflow � uma plataforma de streaming totalmente gerenciada, f�cil de usar e escalon�vel para acelerar IA/ML em tempo real.
Novos clientes recebem US$ 300 em cr�ditos para gastar no Dataflow.
Recursos
Use IA e ML de streaming para potencializar modelos de IA generativa em tempo real
Os dados em tempo real capacitam modelos de IA/ML com as informa��es mais recentes, melhorando a precis�o das previs�es. O Dataflow ML simplifica a implanta��o e o gerenciamento de pipelines completos de ML. Oferecemos padr�es prontos para uso para recomenda��es personalizadas, detec��o de fraudes, preven��o de amea�as e muito mais. Crie IA de streaming com a Vertex AI, modelos Gemini e modelos Gemma, execute infer�ncia remota e simplifique o processamento de dados com o MLTransform. Melhore a efici�ncia dos jobs de MLOps e ML com a GPU do Dataflow e os recursos de ajuste correto.
Ative casos de uso avan�ados de streaming em escala empresarial
O Dataflow � um servi�o totalmente gerenciado que usa o SDK do Apache Beam de c�digo aberto para possibilitar casos de uso avan�ados de streaming em escala empresarial. Ele oferece recursos avan�ados de estado e hora, transforma��es e conectores de E/S. O Dataflow escalona at� 4 mil workers por job e processa rotineiramente petabytes de dados. Ele conta com escalonamento autom�tico para otimizar a utiliza��o de recursos em pipelines de lote e streaming.
Implantar o processamento de dados multimodal para IA generativa
O Dataflow permite a ingest�o e a transforma��o paralelas de dados multimodais, como imagens, texto e �udio. Ela aplica a extra��o de atributos especializados para cada modalidade e, em seguida, combina esses atributos em uma representa��o unificada. Isso fundiu os feeds de dados em modelos de IA generativa, capacitando-os a criar novos conte�dos a partir das diversas entradas. As equipes internas do Google usam o Dataflow e o FlumeJava para organizar e calcular previs�es de modelos para um grande pool de dados de entrada dispon�veis sem requisitos de lat�ncia.
Acelere o retorno do investimento com modelos e notebooks
O Dataflow tem ferramentas que facilitam os primeiros passos. Os modelos do Dataflow s�o blueprints predefinidos para processamento de stream e em lote e s�o otimizados para uma integra��o eficiente de dados do CDC e do BigQuery. Crie pipelines de maneira iterativa com os frameworks de ci�ncia de dados mais recentes do zero com os notebooks da Vertex AI e implante com o executor do Dataflow.O criador de jobs � uma IU visual para criar e executar pipelines do Dataflow no console do Google Cloud, sem escrever c�digos.
Economize tempo com ferramentas inteligentes de diagn�stico e monitoramento
O Dataflow oferece ferramentas abrangentes de diagn�stico e monitoramento. A detec��o de dinamiza��o identifica automaticamente os gargalos de desempenho, enquanto a amostragem de dados permite observar os dados em cada etapa do pipeline. Os insights do Dataflow oferecem recomenda��es para melhorias nos jobs. A interface do Dataflow tem ferramentas de monitoramento avan�adas, incluindo gr�ficos de jobs, detalhes de execu��o, m�tricas, pain�is de escalonamento autom�tico e gera��o de registros. O Dataflow tamb�m tem uma interface de monitoramento de custos do job para facilitar a estimativa de custos.
Governan�a e seguran�a integradas
O Dataflow ajuda a proteger seus dados de v�rias maneiras: criptografando dados em uso com suporte confidencial de VM, com chaves de criptografia gerenciadas pelo cliente (CMEK), integra��o do VPC Service Controls e e desativando os IPs p�blicos. O registro de auditoria do Dataflow oferece � sua organiza��o a visibilidade do uso do Dataflow e ajuda a responder � pergunta "Quem fez o qu�, onde e quando?" para uma melhor governan�a.
Como funciona
O Dataflow � uma plataforma totalmente gerenciada para processamento de dados em lote e streaming. Ele permite pipelines ETL escalon�veis, an�lises de stream em tempo real, ML em tempo real e transforma��es de dados complexas usando o modelo unificado do Apache Beam, tudo na infraestrutura sem servidor do Google Cloud.
O Dataflow � uma plataforma totalmente gerenciada para processamento de dados em lote e streaming. Ele permite pipelines ETL escalon�veis, an�lises de stream em tempo real, ML em tempo real e transforma��es de dados complexas usando o modelo unificado do Apache Beam, tudo na infraestrutura sem servidor do Google Cloud.
Usos comuns
ML em tempo real e IA generativa
Aja em tempo real com streaming de ML / IA
Aja em tempo real com streaming de ML / IA
Decis�es de divis�o de segundos geram valor comercial. O Dataflow Streaming AI e ML permite que os clientes implementem previs�es e infer�ncias de baixa lat�ncia, personaliza��o em tempo real, detec��o de amea�as, preven��o de fraudes e muitos outros casos de uso em que a intelig�ncia em tempo real � importante. Pr�-processar dados com o MLTransform, que permite se concentrar na transforma��o dos dados, sem escrever c�digos complexos ou gerenciar bibliotecas. Fa�a previs�es para o modelo de IA generativa usando o RunInference.
Tutoriais, guias de in�cio r�pido e laborat�rios
Aja em tempo real com streaming de ML / IA
Aja em tempo real com streaming de ML / IA
Decis�es de divis�o de segundos geram valor comercial. O Dataflow Streaming AI e ML permite que os clientes implementem previs�es e infer�ncias de baixa lat�ncia, personaliza��o em tempo real, detec��o de amea�as, preven��o de fraudes e muitos outros casos de uso em que a intelig�ncia em tempo real � importante. Pr�-processar dados com o MLTransform, que permite se concentrar na transforma��o dos dados, sem escrever c�digos complexos ou gerenciar bibliotecas. Fa�a previs�es para o modelo de IA generativa usando o RunInference.
An�lise de streaming
Use dados de streaming para an�lises em tempo real e pipelines operacionais
Use dados de streaming para an�lises em tempo real e pipelines operacionais
Comece sua jornada de streaming de dados integrando suas fontes de dados de streaming (PubSub, Kafka, eventos de CDC, fluxo de cliques do usu�rio, registros e dados do sensor) no BigQuery, GCS data lakes, Spanner, Bigtable, reposit�rios do SQL, Splunk, Datadog e muito mais. Conhe�a os modelos otimizados do Dataflow para configurar seus pipelines com apenas alguns cliques, sem c�digo. Adicione l�gica personalizada aos jobs de modelo com o builder UDF integrado ou crie pipelines ETL personalizados do zero usando toda a capacidade do ecossistema de transforma��es em Beam e conectores de E/S. O Dataflow tamb�m � usado com frequ�ncia para reverter dados processados de ETL do BigQuery para armazenamentos OLTP para pesquisas r�pidas e atendimento aos usu�rios finais. � um padr�o comum do Dataflow gravar dados de streaming em v�rios locais de armazenamento.
Inicie seu primeiro job do Dataflow e fa�a nosso curso autoguiado sobre Fundamentos do Dataflow.
Tutoriais, guias de in�cio r�pido e laborat�rios
Use dados de streaming para an�lises em tempo real e pipelines operacionais
Use dados de streaming para an�lises em tempo real e pipelines operacionais
Comece sua jornada de streaming de dados integrando suas fontes de dados de streaming (PubSub, Kafka, eventos de CDC, fluxo de cliques do usu�rio, registros e dados do sensor) no BigQuery, GCS data lakes, Spanner, Bigtable, reposit�rios do SQL, Splunk, Datadog e muito mais. Conhe�a os modelos otimizados do Dataflow para configurar seus pipelines com apenas alguns cliques, sem c�digo. Adicione l�gica personalizada aos jobs de modelo com o builder UDF integrado ou crie pipelines ETL personalizados do zero usando toda a capacidade do ecossistema de transforma��es em Beam e conectores de E/S. O Dataflow tamb�m � usado com frequ�ncia para reverter dados processados de ETL do BigQuery para armazenamentos OLTP para pesquisas r�pidas e atendimento aos usu�rios finais. � um padr�o comum do Dataflow gravar dados de streaming em v�rios locais de armazenamento.
Inicie seu primeiro job do Dataflow e fa�a nosso curso autoguiado sobre Fundamentos do Dataflow.
ETL em tempo real e integra��o de dados
Modernize sua plataforma de dados com dados em tempo real
Modernize sua plataforma de dados com dados em tempo real
ETL e integra��o em tempo real processam e gravam dados imediatamente, permitindo an�lises e tomadas de decis�es r�pidas. A arquitetura sem servidor e os recursos de streaming do Dataflow o tornam ideal para criar pipelines de ETL em tempo real. A capacidade de escalonamento autom�tico do Dataflow garante efici�ncia e escalonamento. J� o suporte a v�rias origens e destinos de dados simplifica a integra��o.
Desenvolva os conceitos b�sicos com o processamento em lote no Dataflow com este curso do Google Cloud Ensina.
Tutoriais, guias de in�cio r�pido e laborat�rios
Modernize sua plataforma de dados com dados em tempo real
Modernize sua plataforma de dados com dados em tempo real
ETL e integra��o em tempo real processam e gravam dados imediatamente, permitindo an�lises e tomadas de decis�es r�pidas. A arquitetura sem servidor e os recursos de streaming do Dataflow o tornam ideal para criar pipelines de ETL em tempo real. A capacidade de escalonamento autom�tico do Dataflow garante efici�ncia e escalonamento. J� o suporte a v�rias origens e destinos de dados simplifica a integra��o.
Desenvolva os conceitos b�sicos com o processamento em lote no Dataflow com este curso do Google Cloud Ensina.
Marketing Intelligence
Transforme seu marketing com insights em tempo real
Transforme seu marketing com insights em tempo real
O Marketing Intelligence em tempo real analisa dados atuais de mercado, clientes e concorrentes para tomar decis�es r�pidas e bem informadas. Ele permite respostas �geis a tend�ncias, comportamentos e a��es competitivas, transformando o marketing. Alguns dos benef�cios s�o:
- Marketing omnichannel em tempo real com ofertas personalizadas
- Melhoria na gest�o do relacionamento com o cliente por meio de intera��es personalizadas
- Otimiza��o do mix de marketing �gil
- Segmenta��o din�mica de usu�rios
- Intelig�ncia competitiva para se manter � frente
- Gerenciamento proativo de crises em m�dias sociais
Tutoriais, guias de in�cio r�pido e laborat�rios
Transforme seu marketing com insights em tempo real
Transforme seu marketing com insights em tempo real
O Marketing Intelligence em tempo real analisa dados atuais de mercado, clientes e concorrentes para tomar decis�es r�pidas e bem informadas. Ele permite respostas �geis a tend�ncias, comportamentos e a��es competitivas, transformando o marketing. Alguns dos benef�cios s�o:
- Marketing omnichannel em tempo real com ofertas personalizadas
- Melhoria na gest�o do relacionamento com o cliente por meio de intera��es personalizadas
- Otimiza��o do mix de marketing �gil
- Segmenta��o din�mica de usu�rios
- Intelig�ncia competitiva para se manter � frente
- Gerenciamento proativo de crises em m�dias sociais
An�lise cliquestream
Otimize e personalize experi�ncias na Web e em apps
Otimize e personalize experi�ncias na Web e em apps
Com a an�lise da sequ�ncia de cliques em tempo real, as empresas podem analisar instantaneamente as intera��es dos usu�rios em sites e aplicativos. Isso permite personaliza��o em tempo real, testes A/B e otimiza��o de funil, o que aumenta o engajamento, acelera o desenvolvimento de produtos, reduz o desligamento de usu�rios e aprimora o suporte aos produtos. Por fim, ele oferece uma experi�ncia de usu�rio superior e impulsiona o crescimento dos neg�cios com pre�os din�micos e recomenda��es personalizadas.
Tutoriais, guias de in�cio r�pido e laborat�rios
Otimize e personalize experi�ncias na Web e em apps
Otimize e personalize experi�ncias na Web e em apps
Com a an�lise da sequ�ncia de cliques em tempo real, as empresas podem analisar instantaneamente as intera��es dos usu�rios em sites e aplicativos. Isso permite personaliza��o em tempo real, testes A/B e otimiza��o de funil, o que aumenta o engajamento, acelera o desenvolvimento de produtos, reduz o desligamento de usu�rios e aprimora o suporte aos produtos. Por fim, ele oferece uma experi�ncia de usu�rio superior e impulsiona o crescimento dos neg�cios com pre�os din�micos e recomenda��es personalizadas.
Pre�os
| Como funcionam os pre�os do Dataflow | Conhecer o modelo de faturamento e de recursos do Dataflow. | |
|---|---|---|
| Servi�os e uso | Descri��o | Pre�os |
Recursos de computa��o do Dataflow | O faturamento do Dataflow para recursos de computa��o inclui: | Saiba mais na nossa p�gina de pre�os detalhada |
Outros recursos do Dataflow | Outros recursos do Dataflow faturados para todos os jobs incluem disco permanente, GPUs e snapshots. | Saiba mais na nossa p�gina de pre�os detalhada |
Descontos por compromisso de uso (CUDs) do Dataflow | Os CUDs do Dataflow oferecem dois n�veis de descontos, dependendo do per�odo de compromisso:
| Saiba mais sobre os CUDs do Dataflow. |
Saiba mais sobre pre�os do Dataflow. Confira todos os detalhes de pre�os.
Como funcionam os pre�os do Dataflow
Conhecer o modelo de faturamento e de recursos do Dataflow.
Recursos de computa��o do Dataflow
O faturamento do Dataflow para recursos de computa��o inclui:
Saiba mais na nossa p�gina de pre�os detalhada
Outros recursos do Dataflow
Outros recursos do Dataflow faturados para todos os jobs incluem disco permanente, GPUs e snapshots.
Saiba mais na nossa p�gina de pre�os detalhada
Descontos por compromisso de uso (CUDs) do Dataflow
Os CUDs do Dataflow oferecem dois n�veis de descontos, dependendo do per�odo de compromisso:
- Um CUD de um ano oferece 20% de desconto na taxa sob demanda
- Um CUD de tr�s anos oferece um desconto de 40% sobre a taxa sob demanda
Saiba mais sobre os CUDs do Dataflow.
Saiba mais sobre pre�os do Dataflow. Confira todos os detalhes de pre�os.
Calculadora de pre�os
Cota personalizada
Comece sua prova de conceito
Clientes novos ganham US $300 para testar o Dataflow
Tem um projeto grande?
Como usar o Dataflow
Modelos pré-criados do Dataflow
Procurar exemplos de código do Dataflow
Caso de negócios
Veja por que os principais clientes escolhem o Dataflow
Namitha Vijaya Kumar, Proprietário do Produto, SRE do GCP no ANZ Bank
"O Dataflow ajuda no processamento de dados em lote e em tempo real, garantindo assim a pontualidade dos dados no data lake corporativo. Isso, por sua vez, ajuda no uso downstream de dados para análise/tomada de decisão e envio de notificações em tempo real para nossos clientes de varejo."
Leia a históriaConteúdo relacionado
O Google foi reconhecido por colegas como Escolha do cliente para o processamento de stream de eventos
Acesse o relatório
Inovações da nuvem de dados do Google para inteligência contínua em tempo real
Leia a postagem do blog
O Yahoo compara o Dataflow com o Apache Flink autogerenciado em dois casos de uso de streaming
Leia a postagem do blog
Benef�cios do Dataflow
ML de streaming facilitada
Recursos prontos para levar streaming � IA/ML: RunInference para infer�ncia, MLTransform para pr�-processamento de treinamento de modelo, aprimoramento para pesquisas de Feature Store e suporte din�mico a GPU trazem menos trabalho, sem desperd�cio com recursos limitados da GPU.
Custo-benef�cio ideal com ferramentas robustas
O Dataflow oferece streaming econ�mico com otimiza��o automatizada para m�ximo desempenho e uso de recursos. Ele escalona sem esfor�o para lidar com qualquer carga de trabalho e tem autocorre��o com tecnologia de IA. Ferramentas robustas ajudam nas opera��es e no entendimento.
Aberto, port�til e extens�vel
O Dataflow foi criado para o Apache Beam de c�digo aberto, com suporte unificado para lote e streaming, o que torna as cargas de trabalho port�teis entre nuvens, locais ou dispositivos de borda.
Parceiros e integra��o
Parceiros do Dataflow
Os parceiros do Google Cloud desenvolveram integra��es com o Dataflow para viabilizar de maneira r�pida e f�cil tarefas avan�adas de processamento de dados de qualquer tamanho. Confira todos os parceiros para come�ar sua jornada de streaming hoje mesmo.
