Registrar dados em uma execu��o do experimento

M�tricas de resumo

As m�tricas de resumo s�o m�tricas escalares de valor �nico armazenadas adjacentes �s m�tricas de s�rie temporal e representam um resumo final de uma execu��o de um experimento.

Um exemplo de caso de uso � a interrup��o antecipada, em que uma configura��o de paci�ncia permite continuar o treinamento, mas o modelo candidato � restaurado de uma etapa anterior e as m�tricas calculadas para o modelo nessa etapa seriam representadas como uma m�trica de resumo. porque a m�trica de s�rie temporal mais recente n�o representa o modelo restaurado. A API log_metrics para m�tricas de resumo � usada para essa finalidade.

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

M�tricas de s�rie temporal

Para registrar m�tricas de s�rie temporal, o Vertex AI Experiments requer uma inst�ncia de apoio do TensorBoard da Vertex AI.

Atribua o recurso TensorBoard do Vertex AI de apoio para a gera��o de registros de m�tricas de s�rie temporal.

Todas as m�tricas registradas pelo log_time_series_metrics s�o armazenadas como m�tricas de s�rie temporal. O TensorBoard da Vertex AI � o armazenamento de m�tricas de s�rie temporal de apoio.

O experiment_tensorboard pode ser definido nos n�veis de experimento e execu��o. Definir experiment_tensorboard no n�vel da execu��o substitui a configura��o no n�vel do experimento. Depois que o experiment_tensorboard � definido em uma execu��o, n�o � poss�vel mudar o experiment_tensorboard dela.

• Defina experiment_tensorboard no n�vel do experimento:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')

• Defina experiment_tensorboard no n�vel da execu��o. Observa��o: substitui a configura��o no n�vel do experimento.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Passo e tempo decorrido

A API log_time_series_metrics tem a op��o de aceitar step e walltime.

• step: opcional. �ndice da etapa desse ponto de dados durante a execu��o. Se n�o for fornecido, ser� usado um incremento na etapa mais recente entre todas as m�tricas de s�ries temporais registradas. Se a etapa j� existir para qualquer uma das chaves de m�trica fornecidas, ela ser� substitu�da.
• wall_time: opcional. Os segundos ap�s a �poca da m�trica registrada. Se isso n�o for fornecido, o padr�o ser� time.time do Python.

Exemplo:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Registre-se em uma etapa espec�fica

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

Incluir wall_time

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Par�metros

Os par�metros s�o valores de entrada com chave que configuram uma execu��o, regulam o comportamento dela e afetam os resultados. Exemplos incluem taxa de aprendizado, taxa de desist�ncia e n�mero de etapas de treinamento. Par�metros de registro usando o m�todo log_params.

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

M�tricas de classifica��o

Al�m de m�tricas de resumo e m�tricas de s�rie temporal, matrizes de confus�o e curvas ROC s�o usadas com frequ�ncia. Elas podem ser registradas nos experimentos da Vertex AI usando a API log_classification_metrics.

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )