Questo documento descrive come accedere e visualizzare i log della pipeline e i log di servizio per Cloud Data Fusion.
A partire dalla versione 6.11 di Cloud Data Fusion, i log della pipeline e i log dei servizi sono disponibili in Cloud Logging.
Informazioni sui tipi di log
Cloud Data Fusion genera diversi tipi di log per monitorare e risolvere i problemi relativi alle procedure di integrazione dei dati:
Prezzi
L'utilizzo di Cloud Logging e Cloud Monitoring comporta addebiti. Per ulteriori informazioni, consulta la pagina Prezzi di Google Cloud Observability.
(Facoltativo) Importa la dashboard di Cloud Logging di Cloud Data Fusion
Per visualizzare i log della pipeline e i log di servizio utilizzando la dashboard di registrazione di Cloud Data Fusion, importa la dashboard:
Nella Google Cloud console, vai alla pagina Dashboard di Cloud Monitoring.
Fai clic su Visualizza i modelli di dashboard.
Cerca Logging di Cloud Data Fusion e seleziona la dashboard.
Fai clic su
Aggiungi la dashboard di Cloud Logging di Cloud Data Fusion al tuo elenco.
Visualizza i log della pipeline
Puoi visualizzare i log della pipeline utilizzando la dashboard di Logging di Cloud Data Fusion o direttamente in Esplora log.
Visualizzare i log della pipeline utilizzando la dashboard
Se non l'hai ancora fatto, importa la dashboard Logging di Cloud Data Fusion.
Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.
Nella sezione Log della pipeline, visualizza l'elenco dei log della pipeline. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.
Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.
Visualizzare i log della pipeline in Esplora log
Nella Google Cloud console, vai alla pagina Esplora log.
Inserisci la seguente query:
resource.type="datafusion.googleapis.com/PipelineV2"
Viene visualizzato l'elenco dei log della pipeline. Puoi utilizzare i filtri per perfezionare i risultati.
Filtrare i log della pipeline
Puoi filtrare i log della pipeline in base a ID esecuzione, ID istanza, ID pipeline, posizione, spazio dei nomi o etichette personalizzate.
A ogni esecuzione della pipeline Cloud Data Fusion viene assegnato un RunID
univoco.
Dopo aver eseguito il deployment e l'esecuzione della pipeline, puoi trovare il RunID
della pipeline e visualizzare i relativi log.
Per filtrare i log della pipeline in base a RunID
:
Nella Google Cloud console, vai alla pagina Esplora log.
Inserisci la seguente query:
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
Visualizza i log del servizio
Puoi visualizzare i log di servizio utilizzando la dashboard di Cloud Logging di Cloud Data Fusion o in Esplora log.
Visualizzare i log dei servizi utilizzando la dashboard
Se non l'hai ancora fatto, importa la dashboard Logging di Cloud Data Fusion.
Nella sezione Le mie dashboard, fai clic su Logging di Cloud Data Fusion.
Nella sezione Log del servizio, visualizza l'elenco dei log del servizio. Puoi filtrare i log in base alla gravità, ai nomi dei campi e ai valori.
Per perfezionare la ricerca utilizzando le query, utilizza Esplora log.
Visualizzare i log di servizio in Esplora log
Nella Google Cloud console, vai alla pagina Esplora log.
Trova i log del servizio inserendo la query specifica per quel servizio.
Nome servizio Query sul log AppFabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
Processore AppFabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
Esecutore del set di dati resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
Risparmio di log resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
Servizio di metadati resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
Metriche resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
Runtime resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
Servizio Wrangler resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
Log configurabili in Cloud Data Fusion
Cloud Data Fusion 6.11.0 offre un logging configurabile, con Cloud Logging abilitato per impostazione predefinita. Sebbene sia possibile disattivare Cloud Logging, ti consigliamo vivamente di mantenerlo attivo per assicurarti di avere accesso ai log critici di pipeline e istanze.
Per disattivare Cloud Logging, esegui il seguente comando:
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
Sostituisci quanto segue:
PROJECT_ID
: l' Google Cloud ID progettoLOCATION
: la posizione dell'istanzaINSTANCE_ID
: l'ID della tua istanza Cloud Data Fusion
Passaggi successivi
- Scopri di più sull'audit logging di Cloud Data Fusion.
- Scopri come visualizzare i log avanzati della pipeline.