Dataflow

Analyse de flux pour l'intelligence en temps r�el et l'IA g�n�rative

Maximisez le potentiel de vos donn�es en temps r�el. Dataflow est une plate-forme de streaming enti�rement g�r�e, facile � utiliser et �volutive, qui permet d'acc�l�rer l'IA et le ML en temps r�el.

Les nouveaux clients b�n�ficient de 300�$ de cr�dits gratuits � d�penser sur Dataflow.

Fonctionnalit�s

Utilisez l'IA et le ML de flux pour faire fonctionner des mod�les d'IA g�n�rative en temps r�el

Les donn�es en temps r�el alimentent les mod�les d'IA/de ML avec les informations les plus r�centes, ce qui am�liore la pr�cision des pr�dictions. Dataflow ML simplifie le d�ploiement et la gestion de pipelines de ML complets. Nous proposons des mod�les pr�ts � l'emploi pour des recommandations personnalis�es, la d�tection des fraudes, la pr�vention des menaces et plus encore. Cr�ez une IA par flux avec Vertex�AI, des mod�les Gemini et des mod�les Gemma, ex�cutez des inf�rences � distance et simplifiez le traitement des donn�es avec MLTransform. Am�liorez l'efficacit� des jobs MLOps et ML gr�ce aux GPU Dataflow et aux fonctionnalit�s d'ajustement adapt�.

G�rez des cas d'utilisation avanc�s des flux de donn�es � l'�chelle de l'entreprise

Dataflow est un service enti�rement g�r� qui utilise le SDK Apache Beam Open Source pour permettre des cas d'utilisation avancés de flux de données à l'échelle de l'entreprise. Il offre des fonctionnalités avancées pour l'état et l'heure, les transformations et les connecteurs d'E/S. Dataflow peut évoluer jusqu'à 4 000 nœuds de calcul par job et traiter régulièrement des pétaoctets de données. Il intègre l'autoscaling pour une utilisation optimale des ressources dans les pipelines de traitement par lot et par flux.

Déployer le traitement multimodal des données pour l'IA générative

Dataflow permet l'ingestion et la transformation parallèles de données multimodales telles que des images, du texte et de l'audio. Il applique une extraction de caractéristiques spécialisée pour chaque modalité, puis fusionne ces caractéristiques dans une représentation unifiée. Ces données fusionnées alimentent les modèles d'IA générative, ce qui leur permet de créer des contenus à partir de différentes données. Les équipes internes de Google utilisent Dataflow et FlumeJava pour organiser et calculer les prédictions du modèle pour un vaste pool de données d'entrée disponibles sans aucune exigence en termes de latence.

Accélérez le retour sur investissement avec les modèles et les notebooks

Dataflow inclut des outils qui facilitent la prise en main. Les modèles Dataflow sont des plans prédéfinis pour le traitement par flux et par lot. Ils sont optimisés pour l'intégration efficace des données CDC et BigQuery. Cr�ez des pipelines de mani�re it�rative avec les derniers frameworks de data science � partir de z�ro dans les notebooks Vertex�AI et d�ployez-les avec l'ex�cuteur Dataflow.Le g�n�rateur de jobs Dataflow est une interface utilisateur visuelle permettant de cr�er et d'ex�cuter des pipelines Dataflow dans la console Google�Cloud, sans avoir � �crire de code.

Gagnez du temps gr�ce � des outils intelligents de diagnostic et de surveillance

Dataflow offre des outils complets de diagnostic et de surveillance. La d�tection des retardataires identifie automatiquement les goulots d'�tranglement qui affectent les performances, tandis que l'�chantillonnage des donn�es permet d'observer les donn�es � chaque �tape du pipeline. Dataflow Insights propose des recommandations pour am�liorer les jobs. L'interface utilisateur de Dataflow fournit des outils de surveillance complets, y compris des graphiques des t�ches, des d�tails d'ex�cution, des m�triques, des tableaux de bord d'autoscaling et la journalisation. Dataflow offre �galement une interface utilisateur de surveillance des co�ts des jobs pour estimer facilement les co�ts.

S�curit� et gouvernance int�gr�es

Dataflow vous aide � prot�ger vos donn�es de plusieurs fa�ons�: en chiffrant les donn�es utilis�es gr�ce � la compatibilit� avec les Confidential VM�; les cl�s de chiffrement g�r�es par le client (CMEK)�; l'int�gration de VPC Service�Controls, en d�sactivant les adresses IP publiques. Les journaux d'audit Dataflow offrent � votre organisation une visibilit� sur l'utilisation de Dataflow et permettent de savoir qui a fait quoi, o� et quand, pour une meilleure gouvernance.

Fonctionnement

Dataflow est une plate-forme enti�rement g�r�e pour le traitement des donn�es par lot et par flux. Il permet d'utiliser des pipelines ETL �volutifs, des analyses de flux en temps r�el, du ML en temps r�el et des transformations de donn�es complexes � l'aide du mod�le unifi� Apache�Beam, le tout sur une infrastructure Google�Cloud sans serveur.

Vignette d'un grand b�timent avec l'ic�ne Datflow au-dessus et, � droite, un homme jonglant avec des ic�nes Pub/Sub, Cloud�Storage et Cloud�AutoML
D�couvrez en une minute la solution Dataflow, son fonctionnement et certains cas d'utilisation courants.

Utilisations courantes

ML et IA g�n�rative en temps r�el

Agissez en temps r�el avec des flux de ML/IA

Les d�cisions de partage de secondes g�n�rent de la valeur commerciale. Dataflow Streaming AI et ML permettent aux clients d'impl�menter des pr�dictions et des inf�rences � faible latence, une personnalisation en temps r�el, la d�tection des menaces, la pr�vention des fraudes et bien d'autres cas d'utilisation o� la Threat Intelligence est essentielle. Pr�traiter des donn�es avec MLTransform, qui vous permet de vous concentrer sur la transformation de vos donn�es sans avoir � �crire du code complexe ou � g�rer les biblioth�ques sous-jacentes. Effectuez des pr�dictions sur votre mod�le d'IA g�n�rative � l'aide de RunInference.



Voir le r�sum� de Google�Cloud sur le ML en temps r�el et l'IA g�n�rative avec Dataflow

Agissez en temps r�el avec des flux de ML/IA

Les d�cisions de partage de secondes g�n�rent de la valeur commerciale. Dataflow Streaming AI et ML permettent aux clients d'impl�menter des pr�dictions et des inf�rences � faible latence, une personnalisation en temps r�el, la d�tection des menaces, la pr�vention des fraudes et bien d'autres cas d'utilisation o� la Threat Intelligence est essentielle. Pr�traiter des donn�es avec MLTransform, qui vous permet de vous concentrer sur la transformation de vos donn�es sans avoir � �crire du code complexe ou � g�rer les biblioth�ques sous-jacentes. Effectuez des pr�dictions sur votre mod�le d'IA g�n�rative � l'aide de RunInference.



Voir le r�sum� de Google�Cloud sur le ML en temps r�el et l'IA g�n�rative avec Dataflow

Analyse de flux

Int�grez des flux de donn�es pour l'analyse en temps r�el et les pipelines op�rationnels

Pour commencer votre transition vers le streaming de donn�es, int�grez vos sources de flux de donn�es (PubSub, Kafka, �v�nements CDC, flux de clics utilisateur, journaux et donn�es de capteurs) dans BigQuery, les lacs de donn�es GCS, Spanner, Bigtable, les magasins SQL, Splunk, Datadog, etc. Explorez les mod�les Dataflow optimis�s pour configurer vos pipelines en quelques clics, sans code. Ajoutez une logique personnalis�e � vos mod�les de t�ches gr�ce au compilateur UDF int�gr� ou cr�ez des pipelines ETL personnalis�s de A � Z, en profitant de la puissance des transformations Beam et de l'�cosyst�me de connecteurs d'E/S. Dataflow est �galement couramment utilis� pour inverser les donn�es trait�es par ETL de BigQuery vers les magasins OLTP afin d'acc�l�rer les recherches et de servir les utilisateurs finaux. Dataflow est un mod�le courant d'�criture de flux de donn�es dans plusieurs emplacements de stockage.


D�couvrez les mod�les Dataflow qui vous permettent de d�ployer un pipeline Dataflow pr�-empaquet� pour le d�ploiement
Analyse de flux sur l'architecture Google�Cloud

Lancez votre premi�re t�che Dataflow et suivez notre formation autoguid�e sur les principes de base de Dataflow.

Int�grez des flux de donn�es pour l'analyse en temps r�el et les pipelines op�rationnels

Pour commencer votre transition vers le streaming de donn�es, int�grez vos sources de flux de donn�es (PubSub, Kafka, �v�nements CDC, flux de clics utilisateur, journaux et donn�es de capteurs) dans BigQuery, les lacs de donn�es GCS, Spanner, Bigtable, les magasins SQL, Splunk, Datadog, etc. Explorez les mod�les Dataflow optimis�s pour configurer vos pipelines en quelques clics, sans code. Ajoutez une logique personnalis�e � vos mod�les de t�ches gr�ce au compilateur UDF int�gr� ou cr�ez des pipelines ETL personnalis�s de A � Z, en profitant de la puissance des transformations Beam et de l'�cosyst�me de connecteurs d'E/S. Dataflow est �galement couramment utilis� pour inverser les donn�es trait�es par ETL de BigQuery vers les magasins OLTP afin d'acc�l�rer les recherches et de servir les utilisateurs finaux. Dataflow est un mod�le courant d'�criture de flux de donn�es dans plusieurs emplacements de stockage.


D�couvrez les mod�les Dataflow qui vous permettent de d�ployer un pipeline Dataflow pr�-empaquet� pour le d�ploiement
Analyse de flux sur l'architecture Google�Cloud

Lancez votre premi�re t�che Dataflow et suivez notre formation autoguid�e sur les principes de base de Dataflow.

ETL en temps r�el et int�gration de donn�es

Modernisez votre plate-forme de donn�es avec des donn�es en temps r�el

Processus d'ETL et d'int�gration en temps r�el et �criture imm�diate des donn�es, permettant une analyse et une prise de d�cision rapides. L'architecture sans serveur et les fonctionnalit�s de traitement de flux de Dataflow en font un outil id�al pour cr�er des pipelines ETL en temps r�el. La fonctionnalit� d'autoscaling de Dataflow garantit l'efficacit� et le scaling, tandis que sa compatibilit� avec diverses sources et destinations de donn�es simplifie l'int�gration.

Consultez le r�sum� de Google�Cloud sur l'ETL en temps r�el et l'int�gration de donn�es avec Dataflow

Familiarisez-vous avec le traitement par lot sur Dataflow en suivant ce cours Google�Cloud Skills�Boost.

Modernisez votre plate-forme de donn�es avec des donn�es en temps r�el

Processus d'ETL et d'int�gration en temps r�el et �criture imm�diate des donn�es, permettant une analyse et une prise de d�cision rapides. L'architecture sans serveur et les fonctionnalit�s de traitement de flux de Dataflow en font un outil id�al pour cr�er des pipelines ETL en temps r�el. La fonctionnalit� d'autoscaling de Dataflow garantit l'efficacit� et le scaling, tandis que sa compatibilit� avec diverses sources et destinations de donn�es simplifie l'int�gration.

Consultez le r�sum� de Google�Cloud sur l'ETL en temps r�el et l'int�gration de donn�es avec Dataflow

Familiarisez-vous avec le traitement par lot sur Dataflow en suivant ce cours Google�Cloud Skills�Boost.

Marketing Intelligence

Transformez votre strat�gie marketing gr�ce � des insights en temps r�el

La Marketing Intelligence en temps r�el analyse les donn�es actuelles du march�, des clients et des concurrents afin de prendre des d�cisions rapides et �clair�es. Elle permet de r�pondre avec agilit� aux tendances, aux comportements et aux actions concurrentielles, transformant le marketing. Voici quelques-uns de ses avantages�:

  • Marketing omnicanal en temps r�el avec des offres personnalis�es
  • Am�lioration de la gestion de la relation client gr�ce � des interactions personnalis�es
  • Optimisation du mix marketing agile
  • Segmentation dynamique des utilisateurs
  • Intelligence concurrentielle pour garder une longueur d'avance
  • Gestion de crise proactive sur les r�seaux sociaux
Consultez le croquis de Google�Cloud sur la Marketing Intelligence avec Dataflow

    Transformez votre strat�gie marketing gr�ce � des insights en temps r�el

    La Marketing Intelligence en temps r�el analyse les donn�es actuelles du march�, des clients et des concurrents afin de prendre des d�cisions rapides et �clair�es. Elle permet de r�pondre avec agilit� aux tendances, aux comportements et aux actions concurrentielles, transformant le marketing. Voici quelques-uns de ses avantages�:

    • Marketing omnicanal en temps r�el avec des offres personnalis�es
    • Am�lioration de la gestion de la relation client gr�ce � des interactions personnalis�es
    • Optimisation du mix marketing agile
    • Segmentation dynamique des utilisateurs
    • Intelligence concurrentielle pour garder une longueur d'avance
    • Gestion de crise proactive sur les r�seaux sociaux
    Consultez le croquis de Google�Cloud sur la Marketing Intelligence avec Dataflow

      Analyse de flux de clics

      Optimiser et personnaliser les exp�riences sur le Web et dans les applications

      Gr�ce � l'analyse des flux de clics en temps r�el, les entreprises peuvent analyser instantan�ment les interactions des utilisateurs sur les sites Web et les applications. Vous b�n�ficiez ainsi de la personnalisation en temps r�el, des tests A/B et de l'optimisation de l'entonnoir, ce qui permet d'accro�tre l'engagement, d'acc�l�rer le d�veloppement de produits, de r�duire la perte d'utilisateurs et d'am�liorer l'assistance produit. En fin de compte, elle offre une exp�rience utilisateur de qualit� sup�rieure et stimule la croissance de l'activit� gr�ce � une tarification dynamique et � des recommandations personnalis�es.

      Voir le r�sum� de Google�Cloud pour l'analyse de flux de clics en temps r�el avec Dataflow

        Optimiser et personnaliser les exp�riences sur le Web et dans les applications

        Gr�ce � l'analyse des flux de clics en temps r�el, les entreprises peuvent analyser instantan�ment les interactions des utilisateurs sur les sites Web et les applications. Vous b�n�ficiez ainsi de la personnalisation en temps r�el, des tests A/B et de l'optimisation de l'entonnoir, ce qui permet d'accro�tre l'engagement, d'acc�l�rer le d�veloppement de produits, de r�duire la perte d'utilisateurs et d'am�liorer l'assistance produit. En fin de compte, elle offre une exp�rience utilisateur de qualit� sup�rieure et stimule la croissance de l'activit� gr�ce � une tarification dynamique et � des recommandations personnalis�es.

        Voir le r�sum� de Google�Cloud pour l'analyse de flux de clics en temps r�el avec Dataflow

          Tarification

          Fonctionnement des tarifs de DataflowExplorer le modèle de facturation et de ressources de Dataflow
          Services et utilisationDescription Tarifs

          Ressources de calcul Dataflow

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Autres ressources Dataflow

          Les autres ressources Dataflow facturées pour l'ensemble des jobs incluent les disques persistants, les GPU et les instantanés.



          Pour en savoir plus, consultez la page des tarifs détaillée.

          Remises sur engagement d'utilisation Dataflow

          Les remises sur engagement d'utilisation Dataflow offrent deux niveaux de remises, en fonction de la période d'engagement :

          • Une remise sur engagement d'utilisation d'un an vous permet de bénéficier d'une remise de 20 % par rapport au tarif à la demande
          • Une remise sur engagement d'utilisation de trois ans vous permet de bénéficier d'une remise de 40 % par rapport au tarif à la demande

          En savoir plus sur les tarifs de Dataflow. Afficher le détail des tarifs

          Fonctionnement des tarifs de Dataflow

          Explorer le modèle de facturation et de ressources de Dataflow

          Ressources de calcul Dataflow

          Description
          Tarifs

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Autres ressources Dataflow

          Description

          Les autres ressources Dataflow facturées pour l'ensemble des jobs incluent les disques persistants, les GPU et les instantanés.



          Tarifs

          Pour en savoir plus, consultez la page des tarifs détaillée.

          Remises sur engagement d'utilisation Dataflow

          Description

          Les remises sur engagement d'utilisation Dataflow offrent deux niveaux de remises, en fonction de la période d'engagement :

          • Une remise sur engagement d'utilisation d'un an vous permet de bénéficier d'une remise de 20 % par rapport au tarif à la demande
          • Une remise sur engagement d'utilisation de trois ans vous permet de bénéficier d'une remise de 40 % par rapport au tarif à la demande
          Tarifs

          En savoir plus sur les tarifs de Dataflow. Afficher le détail des tarifs

          Simulateur de coût

          Estimez vos coûts Dataflow mensuels (l'estimation inclut les tarifs et les frais spécifiques à une région).

          Devis personnalisé

          Contactez notre �quipe commerciale pour obtenir un devis personnalis� pour votre entreprise.

          Commencer votre d�monstration de faisabilit�

          Les nouveaux clients b�n�ficient de 300�$ de cr�dits gratuits sur Dataflow

          Vous avez un projet volumineux�?

          Utiliser Dataflow

          Mod�les Dataflow pr�d�finis

          Parcourir des exemples de code Dataflow

          Cas d'utilisation m�tier

          D�couvrez pourquoi les principaux clients choisissent Dataflow


          Namitha Vijaya Kumar, Product Owner, ing�nierie SRE GCP chez ANZ Bank

          "Dataflow facilite le traitement par lot et le traitement des donn�es en temps r�el, garantissant ainsi la disponibilit� en temps opportun des donn�es dans le lac de donn�es d'entreprise. Cela facilite l'utilisation des donn�es en aval pour l'analyse/la prise de d�cision et l'envoi de notifications en temps r�el � nos clients retail."

          Lire le témoignage

          Avantages de Dataflow

          Le streaming de ML en toute simplicité

          Les fonctionnalités clé en main qui permettent d'intégrer les flux de données à l'IA et au ML : RunInference pour l'inférence, MLTransform pour le prétraitement de l'entraînement de modèle, l'enrichissement pour la recherche dans les magasins de caractéristiques et la compatibilité dynamique avec les GPU, autant d'éléments qui réduisent les tâches répétitives et évitent les dépenses inutiles pour des ressources GPU limitées.

          Rapport prix/performances optimal et outils robustes

          Dataflow offre des flux économiques avec optimisation automatisée pour maximiser les performances et l'utilisation des ressources. Il évolue facilement pour gérer n'importe quelle charge de travail et dispose d'une autor�paration bas�e sur l'IA. Des outils robustes facilitent les op�rations et facilitent la compr�hension.

          Ouvert, portable et extensible

          Con�u pour la solution Open�Source Apache�Beam, Dataflow offre une compatibilit� unifi�e avec les traitements par lot et par flux, ce qui permet de transf�rer vos charges de travail entre des clouds, des environnements sur site ou des appareils de p�riph�rie.

          Partenaires et int�gration

          • Logo Confluent
          • Logo Snowplow
          • Logo Talend
          • Logo Trifacta
          • Logo Confluent
          • Logo Snowplow
          • Logo Talend
          • Logo Trifacta

          Les partenaires Google�Cloud ont mis au point des int�grations � Dataflow pour vous permettre d'ex�cuter rapidement et facilement de puissantes t�ches de traitement de donn�es complexes de n'importe quelle taille. D�couvrez tous les partenaires pour commencer � diffuser des contenus en streaming d�s aujourd'hui.

          Google Cloud
          • ‪English‬
          • ‪Deutsch‬
          • ‪Español‬
          • ‪Español (Latinoamérica)‬
          • ‪Français‬
          • ‪Indonesia‬
          • ‪Italiano‬
          • ‪Português (Brasil)‬
          • ‪简体中文‬
          • ‪繁體中文‬
          • ‪日本語‬
          • ‪한국어‬
          Console
          • Faites des �conomies gr�ce � notre approche transparente concernant la tarification
          • Le paiement � l'usage de Google�Cloud permet de r�aliser des �conomies automatiques bas�es sur votre utilisation mensuelle et des tarifs r�duits pour les ressources pr�pay�es. Contactez-nous d�s aujourd'hui afin d'obtenir un devis.
          Google Cloud