Visualizzare i log di Cloud Data Fusion

Questo documento descrive come accedere e visualizzare i log della pipeline e i log di servizio per Cloud Data Fusion.

A partire dalla versione 6.11 di Cloud Data Fusion, i log della pipeline e i log dei servizi sono disponibili in Cloud Logging.

Informazioni sui tipi di log

Cloud Data Fusion genera diversi tipi di log per monitorare e risolvere i problemi relativi alle procedure di integrazione dei dati:

Log della pipeline
Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline, incluse le esecuzioni di anteprima. Coprono tutte le fasi di esecuzione di una pipeline, ad esempio la configurazione pre-esecuzione, l'esecuzione del job e le attività post-esecuzione.

Log di servizio
Questi log forniscono informazioni dettagliate sui servizi di sistema di Cloud Data Fusion, come AppFabric e il relativo elaboratore.

Audit log
Cloud Data Fusion genera audit log, ad esempio audit log delle attività amministrative. Per ulteriori informazioni, consulta la pagina relativa ai log di controllo di Cloud Data Fusion.

Log avanzati della pipeline
Questi log forniscono informazioni dettagliate sulle singole esecuzioni della pipeline. Questi log sono particolarmente utili per la risoluzione dei problemi relativi alle pipeline, in quanto acquisiscono informazioni anche prima del completamento del provisioning del cluster Dataproc, il che può contribuire a identificare problemi o ritardi del cluster. Per maggiori informazioni, consulta Visualizzare i log avanzati della pipeline in Cloud Logging.

Prezzi

L'utilizzo di Cloud Logging e Cloud Monitoring comporta addebiti. Per ulteriori informazioni, consulta la pagina Prezzi di Google Cloud Observability.

(Facoltativo) Importa la dashboard di Cloud Logging di Cloud Data Fusion

Per visualizzare i log della pipeline e i log di servizio utilizzando la dashboard di registrazione di Cloud Data Fusion, importa la dashboard:

  1. Nella Google Cloud console, vai alla pagina Dashboard di Cloud Monitoring.

    Accedi a Dashboard

  2. Fai clic su Visualizza i modelli di dashboard.

  3. Cerca Logging di Cloud Data Fusion e seleziona la dashboard.

  4. Fai clic su Aggiungi la dashboard di Cloud Logging di Cloud Data Fusion al tuo elenco.

Visualizza i log della pipeline

Puoi visualizzare i log della pipeline utilizzando la dashboard di Logging di Cloud Data Fusion o direttamente in Esplora log.

Visualizzare i log della pipeline utilizzando la dashboard

  1. Se non l'hai ancora fatto, importa la dashboard Logging di Cloud Data Fusion.

  2. Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.

  3. Nella sezione Log della pipeline, visualizza l'elenco dei log della pipeline. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.

    Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizzare i log della pipeline in Esplora log

  1. Nella Google Cloud console, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Inserisci la seguente query:

    resource.type="datafusion.googleapis.com/PipelineV2"
    

    Viene visualizzato l'elenco dei log della pipeline. Puoi utilizzare i filtri per perfezionare i risultati.

Filtrare i log della pipeline

Puoi filtrare i log della pipeline in base a ID esecuzione, ID istanza, ID pipeline, posizione, spazio dei nomi o etichette personalizzate.

A ogni esecuzione della pipeline Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment e l'esecuzione della pipeline, puoi trovare il RunID della pipeline e visualizzare i relativi log.

Per filtrare i log della pipeline in base a RunID:

  1. Ottieni il RunID della pipeline.

  2. Nella Google Cloud console, vai alla pagina Esplora log.

  3. Inserisci la seguente query:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
    

Visualizza i log del servizio

Puoi visualizzare i log di servizio utilizzando la dashboard di Cloud Logging di Cloud Data Fusion o in Esplora log.

Visualizzare i log dei servizi utilizzando la dashboard

  1. Se non l'hai ancora fatto, importa la dashboard Logging di Cloud Data Fusion.

  2. Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.

  3. Nella sezione Log del servizio, visualizza l'elenco dei log del servizio. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.

    Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.

Visualizzare i log di servizio in Esplora log

  1. Nella Google Cloud console, vai alla pagina Esplora log.

    Vai a Esplora log

  2. Trova i log del servizio inserendo la query specifica per quel servizio.

    Nome servizio Query sul log
    AppFabric
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric"
    
    Processore AppFabric
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric.processor"
    
    Esecutore del set di dati
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="dataset.executor"
    
    Risparmio di log
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="log.saver"
    
    Servizio di metadati
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metadata.service"
    
    Metriche
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metrics"
    
    Pipeline Studio
    resource.type="datafusion.googleapis.com/InstanceV2" 
    resource.labels.namespace="system"
    labels.".userserviceid"="studio"
    
    Runtime
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="runtime"
    
    Servizio Wrangler
    resource.type="datafusion.googleapis.com/InstanceV2"
    resource.labels.namespace="system"
    labels.".applicationId"="dataprep"
    labels.".userserviceid"="service"
    

Log configurabili in Cloud Data Fusion

Cloud Data Fusion 6.11.0 offre un logging configurabile, con Cloud Logging abilitato per impostazione predefinita. Sebbene sia possibile disattivare Cloud Logging, ti consigliamo vivamente di mantenerlo attivo per assicurarti di avere accesso ai log critici di pipeline e istanze.

Per disattivare Cloud Logging, esegui il seguente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • LOCATION: la posizione dell'istanza
  • INSTANCE_ID: l'ID della tua istanza Cloud Data Fusion

Passaggi successivi