Conferir os registros do Cloud Data Fusion

Este documento descreve como acessar e visualizar os registros de pipeline e de serviço do Cloud Data Fusion.

A partir da versão 6.11 do Cloud Data Fusion, os registros de pipeline e de serviço estão disponíveis no Cloud Logging.

Sobre os tipos de registro

O Cloud Data Fusion gera vários tipos de registros para ajudar a monitorar e resolver problemas nos processos de integração de dados:

Registros do pipeline
Esses registros fornecem informações detalhadas sobre execuções de pipeline individuais, incluindo execuções de visualização. Eles abrangem todas as etapas de uma execução de pipeline, como a configuração pré-execução, a execução de job e as atividades pós-execução.

Registros de serviço
Esses registros fornecem informações detalhadas sobre os serviços do sistema do Cloud Data Fusion, como o AppFabric e o processador do AppFabric.

Registros de auditoria
O Cloud Data Fusion gera registros de auditoria, como registros de auditoria da atividade do administrador. Para mais informações, consulte Registro de auditoria do Cloud Data Fusion.

Registros avançados do pipeline
Esses registros fornecem informações detalhadas sobre execuções individuais do pipeline. Esses registros são particularmente úteis para solucionar falhas de pipeline, já que capturam informações antes mesmo que o cluster do Dataproc conclua o provisionamento, o que pode ajudar a identificar problemas ou atrasos no cluster. Para mais informações, consulte Conferir registros avançados do pipeline no Cloud Logging.

Preços

O uso do Cloud Logging e do Cloud Monitoring gera cobranças. Para mais informações, consulte Preços de observabilidade do Google Cloud.

Opcional: importar o painel de registro do Cloud Data Fusion

Para conferir os registros do pipeline e do serviço usando o painel de registro do Cloud Data Fusion, importe o painel:

  1. No Google Cloud console, acesse a página Painéis do Cloud Monitoring.

    Ir para "Painéis"

  2. Clique em Conferir modelos de painéis.

  3. Pesquise Registro do Cloud Data Fusion e selecione o painel.

  4. Clique em Adicionar o painel de registro do Cloud Data Fusion à sua lista.

Conferir registros de pipeline

É possível conferir os registros de pipeline usando o painel de registro do Cloud Data Fusion ou diretamente no Buscador de registros.

Conferir os registros do pipeline usando o painel

  1. Se ainda não fez isso, importe o painel Registro do Cloud Data Fusion.

  2. Na seção Meus painéis, clique em Registro do Cloud Data Fusion.

  3. Na seção Logs do pipeline, acesse a lista de logs do pipeline. É possível filtrar os registros por gravidade, nomes de campos e valores.

    Para refinar sua pesquisa usando consultas, use o Explorador de registros.

Conferir registros de pipeline no Explorador de registros

  1. No console Google Cloud , acesse a página Explorador de registros.

    Acessar o Explorador de registros

  2. Digite a seguinte consulta:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Isso mostra a lista de registros de pipeline. Você pode usar filtros para refinar os resultados.

Filtrar registros do pipeline

É possível filtrar os registros do pipeline por ID de execução, ID de instância, ID do pipeline, local, namespace ou rótulos personalizados.

Cada execução do pipeline do Cloud Data Fusion recebe um RunID exclusivo. Depois de implantar e executar o pipeline, você pode encontrar o RunID dele e conferir os registros correspondentes.

Para filtrar os registros do pipeline por RunID, siga estas etapas:

  1. Receba o RunID do pipeline.

  2. No console Google Cloud , acesse a página Explorador de registros.

  3. Digite a seguinte consulta:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Visualizar registros de serviço

É possível conferir os registros de serviço usando o painel de registro do Cloud Data Fusion ou no Logs Explorer.

Conferir os registros de serviço usando o painel

  1. Se ainda não fez isso, importe o painel Registro do Cloud Data Fusion.

  2. Na seção Meus painéis, clique em Registro do Cloud Data Fusion.

  3. Na seção Registros de serviço, confira a lista de registros de serviço. É possível filtrar os registros por gravidade, nomes de campos e valores.

    Para refinar sua pesquisa usando consultas, use o Explorador de registros.

Conferir registros de serviço no Explorador de registros

  1. No console Google Cloud , acesse a página Explorador de registros.

    Acessar o Explorador de registros

  2. Encontre os registros de serviço inserindo a consulta específica para esse serviço.

    Nome do serviço Consulta do registro
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    Processador do AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    Executor de conjuntos de dados 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    Log Saver 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    Serviço de metadados 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    Métricas 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    Ambiente de execução 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Serviço do Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Geração de registros configurável no Cloud Data Fusion

O Cloud Data Fusion 6.11.0 oferece registro configurável, com o Cloud Logging ativado por padrão. É possível desativar o Cloud Logging, mas é altamente recomendável mantê-lo ativado para garantir o acesso a registros de instâncias e pipelines essenciais.

Para desativar o Cloud Logging, execute o seguinte comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Substitua:

  • PROJECT_ID: o ID do Google Cloud projeto
  • LOCATION: o local da instância
  • INSTANCE_ID: o ID da sua instância do Cloud Data Fusion

A seguir