Registros de transfer�ncia do sistema de arquivos

Este documento descreve o formato atual do registro de transfer�ncia do sistema de arquivos.

Ver registros de transfer�ncia

As transfer�ncias do sistema de arquivos produzem registros de transfer�ncia detalhados que podem ser usados para verificar os resultados do job de transfer�ncia. Cada job produz uma cole��o de registros de transfer�ncia que s�o armazenados no bucket do Cloud Storage do transer: o bucket de origem, de destino ou intermedi�rio, dependendo da dire��o de transfer�ncia.

Os registros s�o gerados enquanto o trabalho de transfer�ncia est� em execu��o. Os registros completos geralmente s�o disponibilizados at� 15 minutos depois da conclus�o do job.

Acessar registros no bucket do Cloud Storage

Os registros de transfer�ncia s�o armazenados no bucket do Cloud Storage da transfer�ncia no seguinte caminho:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

onde:

• bucket-name � o nome do bucket do Cloud Storage envolvido nessa transfer�ncia.
• job-name � o nome do job, conforme exibido na lista de jobs.
• operation-name � o nome da opera��o de transfer�ncia individual, composta pelo carimbo de data/hora IS08601 e pelo ID gerado.

Os registros s�o agregados e armazenados como objetos. Cada lote de registros � nomeado de acordo com a hora de cria��o. Exemplo:

my bucket/storage-transfer/logs/transferOperations/job1/2019-10-19T10_52_56.519081644-07_00.log

Executar consultas do BigQuery em registros de transfer�ncia

Para executar consultas do BigQuery nos seus registros de transfer�ncia:

1. Carregue os dados do registro CSV no BigQuery.

2. Execute sua consulta do BigQuery.

Exemplo de consultas

Mostrar o n�mero de arquivos que tentaram a transfer�ncia e se eles falharam ou foram conclu�dos

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Em que big-query-table � o nome da tabela do BigQuery com o registro de transfer�ncia.

Exibir todos os arquivos que falharam na transfer�ncia

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Em que big-query-table � o nome da tabela do BigQuery com o registro de transfer�ncia.

Exibir a soma de verifica��o e o carimbo de data/hora de cada arquivo transferido com �xito

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Em que big-query-table � o nome da tabela do BigQuery com o registro de transfer�ncia.

Exibir todas as informa��es de erro dos diret�rios que n�o foram transferidos

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Em que big-query-table � o nome da tabela do BigQuery com o registro de transfer�ncia.

Descri��o do formato

Os registros de transfer�ncia do sistema de arquivos s�o salvos no formato de valores separados por tabula��o (TSV) e cont�m uma linha de cabe�alho com nomes de campo. A ordem em que os campos s�o exibidos geralmente � est�vel, mas n�o � garantida e deve ser inferida a partir da linha do cabe�alho.

Cada linha representa um �nico registro, que � uma atualiza��o de status em parte da opera��o geral de transfer�ncia.

A tabela a seguir descreve os campos do arquivo de registros:

Exemplo de entrada de registro

Veja a seguir um exemplo de duas linhas de sa�da de registro, o cabe�alho e uma linha de dados:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==