Melihat log Cloud Data Fusion

Dokumen ini menjelaskan cara mengakses dan melihat log pipeline serta log layanan untuk Cloud Data Fusion.

Mulai Cloud Data Fusion versi 6.11, log pipeline dan log layanan tersedia di Cloud Logging.

Tentang jenis log

Cloud Data Fusion menghasilkan beberapa jenis log untuk membantu memantau dan memecahkan masalah proses integrasi data:

Log pipeline
Log ini memberikan informasi mendetail tentang setiap eksekusi pipeline, termasuk eksekusi pratinjau. Fungsi ini mencakup semua tahap eksekusi pipeline, seperti penyiapan pra-eksekusi, eksekusi tugas, dan aktivitas pasca-eksekusi.

Log layanan
Log ini memberikan informasi mendetail tentang layanan sistem Cloud Data Fusion, seperti AppFabric dan pemroses AppFabric.

Log audit
Cloud Data Fusion menghasilkan log audit, seperti log audit Aktivitas Admin. Untuk mengetahui informasi selengkapnya, lihat Logging audit Cloud Data Fusion.

Log pipeline lanjutan
Log ini memberikan informasi mendetail tentang setiap operasi pipeline. Log ini sangat berguna untuk memecahkan masalah kegagalan pipeline, karena log ini merekam informasi bahkan sebelum cluster Dataproc menyelesaikan penyediaan, yang dapat membantu mengidentifikasi masalah atau penundaan cluster. Untuk mengetahui informasi selengkapnya, lihat artikel Melihat log pipeline lanjutan di Cloud Logging.

Harga

Penggunaan Cloud Logging dan Cloud Monitoring akan dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Google Cloud Observability.

Opsional: Mengimpor dasbor Logging Cloud Data Fusion

Untuk melihat log pipeline dan log layanan menggunakan dasbor Logging Cloud Data Fusion, impor dasbor:

  1. Di Google Cloud konsol, buka halaman Dasbor Cloud Monitoring.

    Buka Dashboards

  2. Klik Lihat template dasbor.

  3. Telusuri Penautan Cloud Data Fusion, lalu pilih dasbor.

  4. Klik Tambahkan dasbor Logging Cloud Data Fusion ke daftar Anda.

Melihat log pipeline

Anda dapat melihat log pipeline menggunakan dasbor Logging Cloud Data Fusion atau langsung di Logs Explorer.

Melihat log pipeline menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Logging Cloud Data Fusion.

  3. Di bagian Pipeline logs, lihat daftar log pipeline. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log pipeline di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Tindakan ini akan menampilkan daftar log pipeline. Anda dapat menggunakan filter untuk menyaring hasil.

Memfilter log pipeline

Anda dapat memfilter log pipeline menurut ID run, ID instance, ID pipeline, lokasi, namespace, atau label kustom.

Setiap operasi pipeline Cloud Data Fusion diberi RunID unik. Setelah men-deploy dan menjalankan pipeline, Anda dapat menemukan RunID pipeline dan melihat log pipeline yang sesuai.

Untuk memfilter log pipeline menurut RunID, ikuti langkah-langkah berikut:

  1. Dapatkan RunID pipeline.

  2. Di konsol Google Cloud , buka halaman Logs Explorer.

  3. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Melihat log layanan

Anda dapat melihat log layanan menggunakan dasbor Logging Cloud Data Fusion atau di Logs Explorer.

Melihat log layanan menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Logging Cloud Data Fusion.

  3. Di bagian Log layanan, lihat daftar log layanan. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log layanan di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Temukan log layanan dengan memasukkan kueri tertentu untuk layanan tersebut.

    Nama layanan Kueri log
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    Prosesor AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    Eksekutor set data 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    Penghemat log 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    Layanan metadata 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    Metrik 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    Runtime 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Layanan Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Logging yang dapat dikonfigurasi di Cloud Data Fusion

Cloud Data Fusion 6.11.0 menawarkan logging yang dapat dikonfigurasi, dengan Cloud Logging diaktifkan secara default. Meskipun Anda dapat menonaktifkan Cloud Logging, sebaiknya tetap aktifkan untuk memastikan Anda memiliki akses ke log pipeline dan instance yang penting.

Untuk menonaktifkan Cloud Logging, jalankan perintah berikut:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Langkah berikutnya