Cómo ver los registros de Cloud Data Fusion

En este documento, se describe cómo acceder a los registros de canalización y de servicio, y cómo visualizarlos, para Cloud Data Fusion.

A partir de la versión 6.11 de Cloud Data Fusion, los registros de canalización y los registros de servicio están disponibles en Cloud Logging.

Información acerca de los tipos de registros

Cloud Data Fusion genera varios tipos de registros para ayudar a supervisar y solucionar problemas de los procesos de integración de datos:

Precios

El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.

Opcional: Importa el panel de registro de Cloud Data Fusion

Para ver los registros de canalización y de servicio con el panel de registro de Cloud Data Fusion, importa el panel:

1. En la consola de Google Cloud , ve a la página Paneles de Cloud Monitoring.

   Ir a Paneles de control

2. Haz clic en Ver plantillas de paneles.

3. Busca Registro de Cloud Data Fusion y selecciona el panel.

4. Haz clic en playlist_add Agregar el panel de registro de Cloud Data Fusion a tu lista.

Cómo ver los registros de la canalización

Puedes ver los registros de canalización con el panel de Cloud Logging de Cloud Data Fusion o directamente en el Explorador de registros.

Visualiza los registros de la canalización con el panel

1. Si aún no lo hiciste, importa el panel Registros de Cloud Data Fusion.

2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

3. En la sección Registros de canalización, consulta la lista de registros de canalización. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Consulta los registros de canalización en el Explorador de registros

1. En la Google Cloud consola, ve a la página Explorador de registros.

   Ir al Explorador de registros

2. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Se mostrará la lista de registros de la canalización. Puedes usar filtros para definir mejor los resultados.

Filtra los registros de la canalización

Puedes filtrar los registros de canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.

Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único. Después de implementar y ejecutar tu canalización, puedes encontrar el RunID de tu canalización y ver los registros correspondientes.

Para filtrar los registros de canalización por RunID, sigue estos pasos:

1. Obtén el RunID de la canalización.

2. En la Google Cloud consola, ve a la página Explorador de registros.

3. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Cómo ver los registros de servicio

Puedes ver los registros del servicio con el panel de registros de Cloud Data Fusion o en el Explorador de registros.

Cómo ver los registros del servicio con el panel

1. Si aún no lo hiciste, importa el panel Registros de Cloud Data Fusion.

2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

3. En la sección Registros de servicio, consulta la lista de registros de servicio. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Cómo ver los registros del servicio en el Explorador de registros

1. En la Google Cloud consola, ve a la página Explorador de registros.

   Ir al Explorador de registros

2. Para encontrar los registros del servicio, ingresa la consulta específica para ese servicio.

   Nombre del servicio	Consulta de registro
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
   Procesador de AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
   Ejecutor de conjuntos de datos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
   Ahorro de registros	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
   Servicio de metadatos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
   Entorno de ejecución	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
   Servicio de Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Registro configurable en Cloud Data Fusion

Cloud Data Fusion 6.11.0 ofrece registros configurables, con Cloud Logging habilitado de forma predeterminada. Si bien es posible inhabilitar Cloud Logging, se recomienda mantenerlo habilitado para garantizar que tengas acceso a los registros de instancias y canalizaciones críticos.

Para inhabilitar Cloud Logging, ejecuta el siguiente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Reemplaza lo siguiente:

• PROJECT_ID: El Google Cloud ID del proyecto
• LOCATION: Es la ubicación de tu instancia.
• INSTANCE_ID: El ID de tu instancia de Cloud Data Fusion

¿Qué sigue?

• Obtén más información sobre el registro de auditoría de Cloud Data Fusion.
• Obtén más información para ver los registros avanzados de la canalización.