Einf�hrung in KI und ML in BigQuery

Mit BigQuery�ML k�nnen Sie �ber GoogleSQL-Abfragen ML-Modelle erstellen und ausf�hren. Au�erdem haben Sie Zugriff auf Vertex AI-Modelle und Cloud AI APIs um Aufgaben im Bereich k�nstliche Intelligenz (KI) wie Textgenerierung oder maschinelle �bersetzung auszuf�hren. Gemini for Google Cloud bietet auch KI-basierte Unterst�tzung f�r BigQuery-Aufgaben. Eine Liste der KI-gest�tzten Features in BigQuery finden Sie unter Gemini in BigQuery.

Normalerweise erfordert das Ausf�hren von ML oder KI f�r gro�e Datasets umfangreiche Programmierung und ML-Framework-Kenntnisse. Diese Anforderungen beschr�nken die L�sungsentwicklung in den meisten Unternehmen auf einen sehr kleinen Personenkreis. Datenanalysten geh�ren nicht dazu, da sie die Daten zwar verstehen können, aber ihre Programmierkenntnisse und ihr Wissen im Hinblick auf ML begrenzt sind. Mit BigQuery ML können SQL-Anwender jedoch vorhandene SQL-Tools und -Fertigkeiten nutzen, um Modelle zu erstellen und zu bewerten sowie Ergebnisse aus LLMs und Cloud AI APIs zu generieren.

Sie können über folgende Elemente mit den BigQuery ML-Funktionen arbeiten:

  • Die Google Cloud Console
  • Das bq-Befehlszeilentool
  • Die BigQuery REST API
  • Integrierte Colab Enterprise-Notebooks in BigQuery
  • Externe Tools wie ein Jupyter-Notebook oder eine Business Intelligence-Plattform

Vorteile von BigQuery ML

BigQuery ML bietet mehrere Vorteile gegenüber anderen Ansätzen zur Nutzung von ML oder KI mit einem cloudbasierten Data Warehouse:

  • BigQuery ML demokratisiert den Einsatz von ML und KI. Datenanalysten, die hauptsächlichen Nutzer eines Data Warehouse, können mithilfe von BigQuery ML Modelle mit vorhandenen Business Intelligence-Tools und Tabellen erstellen und ausführen. Prädiktive Analysen können bei der Entscheidungsfindung im gesamten Unternehmen helfen.
  • Sie müssen keine ML- oder KI-Lösung mit Python oder Java programmieren. Sie trainieren Modelle und greifen auf KI-Ressourcen mit SQL zu – eine Sprache, die Datenanalysten vertraut ist.

  • BigQuery ML erhöht die Geschwindigkeit der Modellentwicklung und -innovation, da keine Daten mehr aus dem Data Warehouse bewegt werden müssen. BigQuery ML bringt ML stattdessen zu den Daten, was folgende Vorteile bietet:

    • Geringere Komplexität, da weniger Tools erforderlich sind.
    • Höhere Geschwindigkeit in der Produktion, da das Verschieben und Formatieren großer Datenmengen für Python-basierte ML-Frameworks zum Trainieren eines Modells in BigQuery nicht erforderlich ist.

    Weitere Informationen finden Sie im Video Beschleunigung der Entwicklung in Bezug auf maschinelles Lernen mit BigQuery ML.

Unterstützte KI-Ressourcen

Sie können Remote-Modelle verwenden, um über BigQuery ML auf KI-Ressourcen wie LLMs zuzugreifen. BigQuery ML unterstützt folgende KI-Ressourcen:

Unterst�tzte Modelle

Ein Modell in BigQuery ML stellt Informationen dar, die ein ML-System aus Trainingsdaten gewonnen hat. In den folgenden Abschnitten werden die von BigQuery ML unterst�tzten Modelltypen beschrieben.

Intern trainierte Modelle

Die folgenden Modelle sind in BigQuery ML eingebunden:

  • Die lineare Regression ist f�r Prognosen vorgesehen. Mit diesem Modell werden beispielsweise die Verk�ufe eines Artikels an einem bestimmten Tag vorhergesagt. Labels sind reellwertig, d.�h. sie k�nnen weder positiv unendlich noch negativ unendlich noch ein NaN (Not a Number) sein.
  • Die logistische Regression wird f�r die Klassifizierung von zwei oder mehr m�glichen Werten verwendet, z.�B. ob eine Eingabe low-value, medium-value oder high-value ist. Jedes Label kann bis zu 50�Einzelwerte haben.
  • K-Means-Clustering zur Datensegmentierung. Beispielsweise identifiziert dieses Modell Kundensegmente. Da K-Means ein un�berwachtes Lernverfahren ist, sind f�r das Modelltraining weder Labels noch Datenaufteilungen f�r die Trainings- oder Evaluierungsphase erforderlich.
  • Matrixfaktorisierung zum Erstellen von Produktempfehlungssystemen. Sie k�nnen Produktempfehlungen auf der Grundlage des bisherigen Kundenverhaltens, der Transaktionen und der Produktbewertungen erstellen und diese Empfehlungen dann f�r personalisierte Kundenerfahrungen verwenden.
  • Analyse der Hauptkomponenten (PCA) ist der Prozess der Berechnung der Hauptkomponenten und deren Verwendung, um eine �nderung der Basis der Daten durchzuf�hren. Es wird h�ufig zur Dimensionalit�tsreduktion verwendet. Dabei wird jeder Datenpunkt auf die ersten Hauptkomponenten projiziert, um niedrigdimensionale Daten zu erhalten und gleichzeitig einen m�glichst gro�en Teil der Datenabweichung beizubehalten.
  • Zeitachsen zum Erstellen von Zeitachsenprognosen. Mit dieser Funktion k�nnen Sie Millionen von Zeitachsenmodellen erstellen und f�r Prognosen verwenden. Das Modell verarbeitet Anomalien, Saisonabh�ngigkeiten und Feiertage automatisch.

Sie k�nnen f�r intern trainierte Modelle einen Probelauf f�r die CREATE MODEL-Anweisungen ausf�hren, um bei der Ausf�hrung eine Sch�tzung der verarbeiteten Daten zu erhalten.

Extern trainierte Modelle

Die folgenden Modelle befinden sich au�erhalb von BigQuery ML und werden in Vertex AI trainiert:

  • Neuronales Deep-Learning-Netzwerk (DNN) zum Erstellen von TensorFlow-basierten neuronalen Deep-Learning-Netzwerken f�r Klassifizierungsmodelle und Regressionsmodelle.
  • Wide & Deep ist f�r allgemeine umfangreiche Regressions- und Klassifizierungsprobleme mit d�nnbesetzten Eingaben (kategoriale Features mit einer gro�en Zahl m�glicher Featurewerte) wie z.�B. Recommender-Systeme, Suche und Rankingprobleme n�tzlich.
  • Autoencoder dient zum Erstellen von TensorFlow-basierten Modellen mit Unterst�tzung f�r d�nnbesetzte Datendarstellungen. Sie k�nnen die Modelle in BigQuery ML f�r Aufgaben wie die un�berwachte Anomalieerkennung und die nicht-lineare Dimensionsreduzierung verwenden.
  • Boosted Tree dient zum Erstellen von Klassifizierungs- und Regressionsmodellen, die auf XGBoost basieren.
  • Random Forest dient zum Erstellen mehrerer Entscheidungsmethoden f�r Lernmethoden zur Klassifizierung, Regression und anderen Aufgaben zum Zeitpunkt des Trainings.
  • AutoML ist ein �berwachter ML-Dienst, der Klassifizierungs- und Regressionsmodelle f�r tabellarische Daten mit hoher Geschwindigkeit und Skalierung erstellt und bereitstellt.

Probel�ufe k�nnen f�r die CREATE MODEL-Anweisungen f�r extern trainierte Modelle nicht ausgef�hrt werden, um eine Sch�tzung der Datenmenge zu erhalten, die durch sie verarbeitet wird.

Remotemodelle

Sie k�nnen in BigQuery Remote-Modelle erstellen, die in Vertex�AI bereitgestellte Modelle verwenden. Sie verweisen auf das bereitgestellte Modell, indem Sie den HTTPS-Endpunkt des Modells in der CREATE MODEL-Anweisung des Remote-Modells angeben.

Die CREATE MODEL-Anweisungen f�r Remote-Modelle verarbeiten keine Byte und es fallen auch keine BigQuery-Geb�hren an.

Importierte Modelle

Mit BigQuery�ML k�nnen Sie benutzerdefinierte Modelle importieren, die au�erhalb von BigQuery trainiert wurden, und dann Vorhersagen in BigQuery ausf�hren. Sie k�nnen folgende Modelle aus Cloud Storage in BigQuery importieren:

  • Open Neural Network Exchange (ONNX) ist ein offenes Standardformat zur Darstellung von ML-Modellen. Mit ONNX k�nnen Sie Modelle, die mit g�ngigen ML-Frameworks wie PyTorch und scikit-learn trainiert wurden, in BigQuery ML zur Verf�gung stellen.
  • TensorFlow ist eine kostenlose Open-Source-Softwarebibliothek f�r ML und k�nstliche Intelligenz. Sie k�nnen TensorFlow f�r verschiedene Aufgaben verwenden. Der Schwerpunkt liegt jedoch auf dem Training und der Inferenz neuronaler Deep-Learning-Netzwerke. Sie k�nnen zuvor trainierte TensorFlow-Modelle als BigQuery ML-Modelle in BigQuery laden und dann Vorhersagen in BigQuery ML erstellen.
  • TensorFlow Lite ist eine schlanke Version von TensorFlow f�r die Bereitstellung auf Mobilger�ten, Mikrocontrollern und anderen Edge-Ger�ten. TensorFlow optimiert vorhandene TensorFlow-Modelle f�r eine reduzierte Modellgr��e und eine schnellere Inferenz.
  • XGBoost ist eine optimierte, verteilte Gradient-Boost-Bibliothek, die hocheffizient, flexibel und portierbar ist. Die Implementierung der ML-Algorithmen erfolgt im Rahmen des Gradient Boosting-Frameworks.

Die CREATE MODEL-Anweisungen f�r importierte Modelle verarbeiten keine Byte und es fallen auch keine BigQuery-Geb�hren an.

In BigQuery ML k�nnen Sie ein Modell mit Daten aus mehreren BigQuery-Datasets f�r Training und Vorhersage verwenden.

Leitfaden zur Modellauswahl

In diesem Entscheidungsbaum werden ML-Modelle Aktionen zugeordnet, die Sie ausf�hren m�chten. Laden Sie den Entscheidungsbaum f�r die Modellauswahl herunter.

BigQuery�ML und Vertex�AI

BigQuery�ML l�sst sich in Vertex�AI einbinden, die End-to-End-Plattform f�r KI und ML in Google Cloud. Wenn Sie Ihre BigQuery ML-Modelle in Model Registry registrieren, k�nnen Sie diese Modelle f�r Endpunkte f�r Onlinevorhersagen bereitstellen. Weitere Informationen nachstehend:

BigQuery�ML und Colab Enterprise

Sie k�nnen jetzt Colab Enterprise-Notebooks verwenden, um ML-Workflows in BigQuery auszuf�hren. Mit Notebooks k�nnen Sie Ihre ML-Aufgaben unter Nutzung von SQL, Python und anderen beliebten Bibliotheken und Sprachen erf�llen. Weitere Informationen finden Sie unter Notebooks erstellen.

Unterst�tzte Regionen

BigQuery�ML wird in denselben Regionen wie BigQuery unterst�tzt. Weitere Informationen finden Sie unter BigQuery ML-Standorte.

Preise

BigQuery ML-Modelle werden genauso wie Tabellen und Ansichten in BigQuery-Datasets gespeichert. Weitere Informationen zu den Preisen f�r BigQuery ML finden Sie unter BigQuery ML-Preise.

Informationen zu den Preisen f�r die BigQuery-Speicherung finden Sie unter Speicherpreise.

Informationen zu den Preisen f�r BigQuery ML-Abfragen finden Sie unter Abfragepreise.

Kontingente

F�r Abfragen, die BigQuery�ML-Funktionen und CREATE MODEL-Anweisungen verwenden, gelten neben den BigQuery ML-spezifischen Limits die Kontingente und Limits f�r BigQuery-Abfragejobs.

Beschr�nkungen

  • BigQuery�ML ist in der Standardversion nicht verf�gbar.
  • BigQuery�ML l�st keine Autoscaling-Slots aus. Sie m�ssen eine Baseline-Anzahl von Slots festlegen, um BigQuery ML mit einer BigQuery-Version zu verwenden. Diese Einschr�nkung gilt nur f�r extern trainierte Modelle, nicht f�r intern trainierte Modelle. Weitere Informationen zu den Modelltypen finden Sie unter Unterst�tzte Modelle.

N�chste Schritte