Registrare manualmente i dati in un'esecuzione dell'esperimento

Metriche di riepilogo

Le metriche di riepilogo sono metriche scalari a valore singolo archiviate accanto alle serie temporali e rappresentano il riepilogo finale dell'esecuzione di un esperimento.

Un esempio di caso d'uso � l'interruzione anticipata quando una configurazione della pazienza consente ha continuato l'addestramento, ma il modello candidato viene ripristinato da un passaggio precedente e le metriche calcolate per il modello in quel passaggio sarebbero rappresentate come una metrica di riepilogo perch� l'ultima metrica della serie temporale non � rappresentativa del modello ripristinato. A questo scopo viene utilizzata l'API log_metrics per le metriche di riepilogo.

from typing import Dict

from google.cloud import aiplatform


def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

Metriche delle serie temporali

Per registrare le metriche delle serie temporali, Vertex AI Experiments richiede un supporto Vertex AI TensorBoard.

Assegna la risorsa di supporto Vertex AI TensorBoard per la metrica delle serie temporali Logging.

Tutte le metriche hanno eseguito l'accesso log_time_series_metrics vengono archiviati metriche delle serie temporali. Vertex AI TensorBoard � il magazzino delle metriche delle serie temporali di supporto.

Il valore experiment_tensorboard pu� essere impostato sia a livello di esperimento che di esecuzione dell'esperimento. Impostazione experiment_tensorboard in fuga sostituisce l'impostazione a livello di esperimento. Una volta experiment_tensorboard � impostato in un'esecuzione; il valore experiment_tensorboard dell'esecuzione non pu� essere modificato.

• Imposta experiment_tensorboard a livello di esperimento:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')

• Imposta experiment_tensorboard a livello di esecuzione: Nota: sostituisce l'impostazione a livello di esperimento.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)

from typing import Dict, Optional

from google.cloud import aiplatform
from google.protobuf import timestamp_pb2


def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Passaggio e tempo totale di esecuzione

L'API log_time_series_metrics accetta facoltativamente step e walltime.

• step: facoltativo. Indice dei passaggi di questo punto dati all'interno della vengono eseguiti tutti i test delle unit�. Se non viene specificato, viene utilizzato un incremento rispetto all'ultimo passaggio tra tutte le metriche delle serie temporali gi� registrate. Se il passaggio esiste per una delle chiavi delle metriche fornite, viene sovrascritto.
• wall_time: facoltativo. I secondi dopo l'epoca metrica registrata. Se non viene fornito, l'impostazione predefinita � il linguaggio time.time.

Ad esempio:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Accedi a un passaggio specifico

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

Includi wall_time

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Parametri

I parametri sono valori di input con chiave che configurano un'esecuzione, regolano il comportamento dell'esecuzione e influire sui risultati dell'esecuzione. Alcuni esempi sono il tasso di apprendimento, il tasso di abbandono e il numero di passaggi di addestramento. Registra i parametri utilizzando il metodo log_params.

from typing import Dict, Union

from google.cloud import aiplatform


def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

Metriche di classificazione

Oltre alle metriche di riepilogo e alle metriche delle serie temporali, le matrici di confusione e le curve ROC sono metriche di uso comune. Possono essere registrati in Vertex AI Experiments utilizzando l'API log_classification_metrics.

from typing import List, Optional

from google.cloud import aiplatform


def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )