Afficher les journaux Cloud Data Fusion

Ce document explique comment accéder aux journaux de pipeline et de service pour Cloud Data Fusion et les afficher.

À partir de la version 6.11 de Cloud Data Fusion, les journaux de pipeline et de service sont disponibles dans Cloud Logging.

À propos des types de journaux

Cloud Data Fusion génère plusieurs types de journaux pour vous aider à surveiller et à résoudre les problèmes liés aux processus d'intégration de données :

Tarifs

L'utilisation de Cloud Logging et Cloud Monitoring entraîne des frais. Pour en savoir plus, consultez les tarifs de Google Cloud Observability.

Facultatif : Importer le tableau de bord Cloud Data Fusion Logging

Pour afficher les journaux de pipeline et de service à l'aide du tableau de bord Cloud Data Fusion Logging, importez le tableau de bord :

1. Dans la console Google Cloud , accédez à la page Tableaux de bord de Cloud Monitoring.

   Accéder à la page Tableaux de bord

2. Cliquez sur Afficher les modèles de tableaux de bord.

3. Recherchez Journalisation Cloud Data Fusion et sélectionnez le tableau de bord.

4. Cliquez sur playlist_add Ajouter le tableau de bord de journalisation Cloud Data Fusion à votre liste.

Afficher les journaux de pipeline

Vous pouvez afficher les journaux de pipeline à l'aide du tableau de bord Cloud Data Fusion Logging ou directement dans l'explorateur de journaux.

Afficher les journaux de pipeline à l'aide du tableau de bord

1. Si ce n'est pas déjà fait, importez le tableau de bord Cloud Data Fusion Logging.

2. Dans la section Mes tableaux de bord, cliquez sur Journalisation Cloud Data Fusion.

3. Dans la section Journaux du pipeline, consultez la liste des journaux du pipeline. Vous pouvez filtrer les journaux par niveau de gravité, noms de champs et valeurs.

   Pour affiner votre recherche à l'aide de requêtes, utilisez l'explorateur de journaux.

Afficher les journaux de pipeline dans l'explorateur de journaux

1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

   Accéder à l'explorateur de journaux

2. Saisissez la requête suivante :

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   La liste des journaux de pipeline s'affiche. Vous pouvez utiliser des filtres pour affiner les résultats.

Filtrer les journaux de pipeline

Vous pouvez filtrer les journaux de pipeline par ID d'exécution, ID d'instance, ID de pipeline, emplacement, espace de noms ou libellés personnalisés.

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Après avoir déployé et exécuté votre pipeline, vous pouvez trouver son RunID et afficher les journaux de pipeline correspondants.

Pour filtrer les journaux de pipeline par RunID, procédez comme suit :

1. Obtenez l'ID d'exécution du pipeline.

2. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

3. Saisissez la requête suivante :

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Afficher les journaux du service

Vous pouvez afficher les journaux de service à l'aide du tableau de bord Cloud Data Fusion Logging ou dans l'explorateur de journaux.

Afficher les journaux de service à l'aide du tableau de bord

1. Si ce n'est pas déjà fait, importez le tableau de bord Cloud Data Fusion Logging.

2. Dans la section Mes tableaux de bord, cliquez sur Journalisation Cloud Data Fusion.

3. Dans la section Journaux de service, consultez la liste des journaux de service. Vous pouvez filtrer les journaux par niveau de gravité, noms de champs et valeurs.

   Pour affiner votre recherche à l'aide de requêtes, utilisez l'explorateur de journaux.

Afficher les journaux de service dans l'explorateur de journaux

1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

   Accéder à l'explorateur de journaux

2. Recherchez les journaux de service en saisissant la requête spécifique à ce service.

   Nom du service	Requête de journal
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
   Processeur AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
   Dataset Executor	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
   Économiseur de journaux	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
   Service de métadonnées	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
   Métriques	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
   Environnement d'exécution	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
   Service Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Journalisation configurable dans Cloud Data Fusion

Cloud Data Fusion 6.11.0 propose une journalisation configurable, avec Cloud Logging activé par défaut. Bien qu'il soit possible de désactiver Cloud Logging, nous vous recommandons vivement de le laisser activé pour vous assurer d'avoir accès aux journaux critiques des pipelines et des instances.

Pour désactiver Cloud Logging, exécutez la commande suivante :

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Remplacez les éléments suivants :

• PROJECT_ID : ID du projet Google Cloud
• LOCATION : emplacement de votre instance.
• INSTANCE_ID : ID de votre instance Cloud Data Fusion

Étapes suivantes

• En savoir plus sur la journalisation des audits Cloud Data Fusion
• Découvrez comment afficher les journaux de pipeline avancés.