Pr�sentation de l'IA et du ML dans BigQuery

BigQuery�ML vous permet de cr�er et d'ex�cuter des mod�les de machine learning (ML) � l'aide de requ�tes GoogleSQL, Cela vous permet �galement d'acc�der aux Mod�les Vertex�AI et aux API d'IA dans le cloud pour effectuer des t�ches d'intelligence�artificielle (IA) comme la g�n�ration de texte ou la traduction automatique. Gemini pour Google�Cloud fournit �galement une assistance bas�e sur l'IA pour les t�ches BigQuery. Pour obtenir la liste des fonctionnalit�s bas�es sur l'IA dans BigQuery, consultez la page Gemini dans BigQuery.

En r�gle g�n�rale, l'ex�cution du ML ou de l'IA sur des ensembles de donn�es volumineux n�cessite une programmation importante et une connaissance approfondie des frameworks de ML. Ces exigences restreignent le d�veloppement de solutions � un tr�s petit nombre de personnes au sein de chaque entreprise et excluent les analystes de donn�es qui comprennent les donn�es, mais qui ont des connaissances limit�es sur le ML et qui ne sont pas des experts en programmation. Toutefois, avec BigQuery�ML, les utilisateurs de SQL peuvent utiliser les comp�tences et outils SQL existants pour cr�er et �valuer des mod�les, ainsi que pour g�n�rer des r�sultats avec des LLM et les API d'IA dans le cloud.

Vous pouvez utiliser les fonctionnalit�s BigQuery�ML � l'aide des �l�ments suivants�:

Avantages de BigQuery�ML

BigQuery�ML offre plusieurs avantages par rapport aux autres m�thodes d'utilisation du ML ou de l'IA avec un entrep�t de donn�es cloud�:

  • BigQuery�ML d�mocratise l'utilisation du ML et de l'IA en permettant aux analystes de donn�es, les principaux utilisateurs des entrep�ts de donn�es, de cr�er et d'ex�cuter des mod�les � l'aide des feuilles de calcul et des outils d'informatique d�cisionnelle existants. Les analyses pr�dictives peuvent guider la prise de d�cisions commerciales ou m�tier dans l'ensemble de l'entreprise.
  • Vous n'avez pas besoin de programmer une solution de ML ou d'IA � l'aide de Python ou de Java. Vous entra�nez des mod�les et acc�dez � des ressources d'IA � l'aide de SQL, un langage familier des analystes de donn�es.

  • BigQuery�ML acc�l�re l'innovation et le d�veloppement des mod�les en �vitant de d�placer des donn�es depuis l'entrep�t de donn�es. Au lieu de cela, BigQuery�ML apporte le ML aux donn�es, ce qui offre les avantages suivants�:

    • R�duction de la complexit�, car moins d'outils sont n�cessaires.
    • Vitesse de production accrue, car le d�placement et le formatage de grandes quantit�s de donn�es pour les frameworks ML bas�s sur Python ne sont pas n�cessaires pour entra�ner un mod�le dans BigQuery.

    Pour en savoir plus, regardez la vid�o Comment acc�l�rer le d�veloppement du machine learning avec BigQuery�ML.

Ressources d'IA compatibles

Vous pouvez utiliser des mod�les distants pour acc�der aux ressources d'IA comme les LLM � partir de BigQuery�ML. BigQuery�ML est compatible avec les ressources d'IA suivantes�:

Mod�les compatibles

Un mod�le dans BigQuery�ML repr�sente ce qu'un syst�me de ML a appris � partir des donn�es d'entra�nement. Les sections suivantes d�crivent les types de mod�les compatibles avec BigQuery�ML.

Mod�les entra�n�s en interne

Les mod�les suivants sont int�gr�s � BigQuery�ML�:

  • R�gression lin�aire�: permet d'effectuer des pr�visions. Par exemple, ce mod�le pr�voit les ventes d'un article un jour donn�. Les �tiquettes ont une valeur r�elle, ce qui signifie qu'elles ne peuvent pas avoir une valeur infinie positive ou n�gative, ni une valeur NaN (non num�rique).
  • R�gression logistique�: permet de classer au moins deux valeurs possibles (par exemple, si une entr�e est low-value, medium-value ou high-value). Chaque �tiquette peut contenir jusqu'� 50�valeurs uniques.
  • Clustering des k-moyennes�: permet d'effectuer la segmentation des donn�es. Par exemple, ce mod�le identifie des segments de client�le. Les k-moyennes �tant une technique d'apprentissage non supervis�e, l'entra�nement ou l'�valuation du mod�le ne n�cessitent pas d'�tiquettes ni de donn�es fractionn�es.
  • Factorisation matricielle�: permet de cr�er des syst�mes de recommandation de produits. Vous pouvez cr�er des recommandations de produits � l'aide de l'historique du comportement des clients, des transactions et des avis sur les produits, puis utiliser ces recommandations pour proposer des exp�riences client personnalis�es.
  • Analyse des composants principaux (PCA)�: processus consistant � calculer les composants principaux et � les utiliser pour effectuer un changement de base sur les donn�es. Il est couramment utilis� pour r�duire la dimensionnalit� en ne projetant chaque point de donn�es que sur les premiers composants principaux afin d'obtenir des donn�es de dimension inf�rieure tout en conservant autant que possible les variations de donn�es.
  • S�rie temporelle�: permet d'effectuer des pr�visions de s�ries temporelles. Cette fonctionnalit� vous permet de cr�er des millions de mod�les de s�rie temporelle et de les utiliser pour effectuer des pr�visions. Le mod�le g�re automatiquement les anomalies, la saisonnalit� et les jours f�ri�s.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les mod�les entra�n�s en interne afin d'obtenir une estimation de la quantit� de donn�es qu'ils traiteront si vous les ex�cutez.

Mod�les entra�n�s en externe

Les mod�les suivants sont externes � BigQuery�ML et entra�n�s dans Vertex�AI�:

  • R�seau de neurones profond (DNN, Deep Neural Network)�: permet de cr�er des r�seaux de neurones profonds bas�s sur TensorFlow pour les mod�les de classification et de r�gression.
  • Large et profond�: utile pour les probl�mes g�n�riques de r�gression et de classification � grande �chelle avec des entr�es �parses (caract�ristiques cat�gorielles avec un grand nombre de valeurs de caract�ristiques possibles), telles que les syst�mes de recommandation, de recherche et de classement.
  • Autoencodeur�: permet de cr�er des mod�les bas�s sur TensorFlow avec des repr�sentations de donn�es creuses. Vous pouvez utiliser les mod�les dans BigQuery�ML pour des t�ches telles que la d�tection d'anomalies non supervis�e et la r�duction de dimensionnalit� non lin�aire.
  • Arbre de d�cision � boosting�: permet de cr�er des mod�les de classification et de r�gression bas�s sur XGBoost.
  • For�t d'arbres d�cisionnels�: sert � cr�er plusieurs arbres de d�cision de la m�thode d'apprentissage pour la classification, la r�gression et d'autres t�ches au moment de l'entra�nement.
  • AutoML est un service de ML supervis� qui cr�e et d�ploie des mod�les de classification et de r�gression sur des donn�es tabulaires � grande vitesse et � grande �chelle.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les mod�les entra�n�s en externe afin d'obtenir une estimation de la quantit� de donn�es qu'ils traiteront si vous les ex�cutez.

Mod�les distants

Vous pouvez cr�er des mod�les distants dans BigQuery qui utilisent des mod�les d�ploy�s sur Vertex�AI. Pour r�f�rencer le mod�le d�ploy�, sp�cifiez le point de terminaison HTTPS du mod�le dans l'instruction CREATE MODEL du mod�le distant.

Les instructions CREATE MODEL pour les mod�les distants ne traitent aucun octet et n'entra�nent pas de frais BigQuery.

Mod�les import�s

BigQuery�ML vous permet d'importer des mod�les personnalis�s entra�n�s en dehors de BigQuery, puis d'effectuer des pr�dictions dans BigQuery. Vous pouvez importer les mod�les suivants dans BigQuery � partir de Cloud�Storage�:

  • ONNX (Open Neural Network Exchange)�: format standard ouvert permettant de repr�senter des mod�les de ML. ONNX permet de rendre des mod�les entra�n�s avec des frameworks de ML populaires tels que PyTorch et scikit-learn disponibles dans BigQuery�ML.
  • TensorFlow�: biblioth�que logicielle Open�Source gratuite pour le ML et l'intelligence artificielle. Vous pouvez utiliser TensorFlow sur plusieurs t�ches, mais il est particuli�rement utile sur l'entra�nement et l'inf�rence des r�seaux de neurones profonds. Vous pouvez charger des mod�les TensorFlow pr�alablement entra�n�s dans BigQuery en tant que modèles BigQuery ML, puis effectuer des prédictions dans BigQuery ML.
  • TensorFlow Lite : version légère de TensorFlow permettant un déploiement sur des appareils mobiles, des microcontrôleurs et d'autres appareils de périphérie. TensorFlow optimise les modèles TensorFlow existants pour réduire la taille des modèles et accélérer l'inférence.
  • XGBoost : bibliothèque d'optimisation de gradient distribuée optimisée pour être hautement efficace, flexible et portable. Elle met en œuvre des algorithmes de ML sous le framework Gradient Boosting.

Les instructions CREATE MODEL pour les modèles importés ne traitent aucun octet et n'entraînent pas de frais BigQuery.

Dans BigQuery ML, vous pouvez utiliser un modèle avec des données provenant de plusieurs ensembles de données BigQuery pour les opérations d'entraînement et de prédiction.

Guide de sélection des modèles

Cet arbre de décision mappe les modèles de ML aux actions que vous souhaitez accomplir. Téléchargez l'arbre de décision pour la sélection de modèles.

BigQuery ML et Vertex AI

BigQuery ML s'intègre à Vertex AI, la plate-forme de bout en bout pour l'IA et le ML dans Google Cloud. Lorsque vous enregistrez vos modèles BigQuery ML dans le registre de modèles, vous pouvez les déployer sur des points de terminaison pour la prédiction en ligne. Pour en savoir plus, consultez les ressources suivantes :

BigQuery�ML et Colab�Enterprise

Vous pouvez d�sormais utiliser des notebooks Colab�Enterprise pour effectuer des workflows de ML dans BigQuery. Les notebooks vous permettent d'utiliser SQL, Python, ainsi que d'autres biblioth�ques et langages courants pour accomplir vos t�ches de ML. Pour en savoir plus, consultez la page Cr�er des notebooks.

R�gions o� le service est disponible

BigQuery�ML est compatible avec les m�mes r�gions que BigQuery. Pour en savoir plus, consultez la page Emplacements BigQuery�ML.

Tarifs

Les mod�les BigQuery�ML sont stock�s dans des ensembles de donn�es BigQuery tels que des tables et des vues. Pour en savoir plus sur la tarification de BigQuery�ML, consultez la page Tarifs de BigQuery�ML.

Pour en savoir plus sur les tarifs de stockage de BigQuery, consultez la section Tarifs de stockage.

Pour en savoir plus sur les tarifs des requ�tes BigQuery�ML, consultez la page Tarifs des requ�tes.

Quotas

Outre les limites sp�cifiques � BigQuery�ML, les requ�tes qui utilisent les fonctions BigQuery�ML et les instructions CREATE MODEL sont soumises aux quotas et aux limites des t�ches de requ�te BigQuery.

Limites

�tapes suivantes