Membuat template runtime

Halaman ini menunjukkan cara membuat template runtime di Colab Enterprise.

Untuk menjalankan kode di notebook, gunakan resource komputasi yang disebut runtime. Anda dapat menggunakan runtime default atau runtime yang dibuat dari template runtime. Dengan membuat template runtime, Anda dapat mengonfigurasi template untuk mengoptimalkan performa, biaya, dan karakteristik runtime lainnya berdasarkan kebutuhan Anda.

Pelajari runtime dan template runtime lebih lanjut.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Vertex AI, Dataform, and Compute Engine APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Vertex AI, Dataform, and Compute Engine APIs.

   Enable the APIs

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat template runtime di Colab Enterprise, minta administrator untuk memberi Anda peran IAM Colab Enterprise Admin (roles/aiplatform.colabEnterpriseAdmin) di project tersebut. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat template runtime

Untuk membuat template runtime, Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, REST API, atau Terraform.

Konsol

Untuk membuat template runtime:

1. Di Google Cloud console, buka halaman Runtime templates Colab Enterprise.

   Buka Template Runtime

2. Klik add_box New template.

   Dialog Create new runtime template akan muncul.

Dasar-dasar runtime

1. Di bagian Runtime basics, masukkan Display name.

2. Di menu Region, pilih region tempat Anda ingin template runtime.

3. Opsional: Tambahkan Deskripsi dari template runtime Anda.

4. Opsional: Untuk menambahkan label, klik add Tambahkan label, lalu masukkan pasangan Kunci dan Nilai singkat ini. Untuk menambahkan label lainnya, ulangi langkah ini.

5. Klik Lanjutkan.

Mengonfigurasikan komputasi

1. Di bagian Configure compute, pada menu Machine type, pilih jenis mesin. Untuk informasi tentang jenis mesin, lihat Panduan perbandingan dan resource kelompok mesin.

   Jika Anda memilih jenis mesin yang memiliki GPU, pilih Accelerator type dan Accelerator count. Jika tidak dapat memilih jumlah GPU yang diinginkan, Anda mungkin perlu meningkatkan kuota. Lihat mengirimkan permintaan penambahan kuota.

2. Pada menu Data disk type, pilih jenis disk.

3. Di kolom Data disk size, masukkan ukuran dalam GB.

4. Di bagian Idle shutdown:

   • Untuk menonaktifkan penonaktifan saat tidak ada aktivitas, hapus Enable idle shutdown.

   • Untuk mengubah jangka waktu tidak aktif, di Waktu tidak aktif sebelum penonaktifan (Menit), ubah angka ke jumlah menit tidak aktif yang Anda inginkan. Di konsol Google Cloud , setelan ini dapat disetel ke nilai bilangan bulat apa pun dari 10 hingga 1440.

5. Klik Continue.

Lingkungan

1. Di bagian Environment, pilih Environment. Defaultnya adalah Terbaru (saat ini Python 3.11).

2. Klik Continue.

Jaringan dan keamanan

1. Di bagian Networking and security, pada menu Network, pilih jaringan. Jika Anda tidak memilih jaringan, jaringan default akan dipilih.

2. Pada menu Subnetwork, pilih subnetwork.

3. Untuk menonaktifkan akses internet publik, hapus opsi Aktifkan akses internet publik.

4. Untuk menonaktifkan akses kredensial pengguna akhir, hapus centang Enable end-user credentials.

Menyelesaikan pembuatan template runtime

Klik Create untuk menyelesaikan pembuatan template runtime.

Template runtime Anda akan muncul dalam daftar di tab Runtime templates.

gcloud

Sebelum menggunakan salah satu data perintah di bawah, lakukan penggantian berikut:

• DISPLAY_NAME: nama tampilan template runtime Anda.
• PROJECT_ID: project ID Anda.
• REGION: region tempat Anda menginginkan template runtime.
• MACHINE_TYPE: Jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Jalankan perintah berikut:

Linux, macOS, atau Cloud Shell

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" \
    --project=PROJECT_ID \
    --region=REGION \
    --machine-type=MACHINE_TYPE \
    --accelerator-type=ACCELERATOR_TYPE \
    --accelerator-count=ACCELERATOR_COUNT

Windows (PowerShell)

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" `
    --project=PROJECT_ID `
    --region=REGION `
    --machine-type=MACHINE_TYPE `
    --accelerator-type=ACCELERATOR_TYPE `
    --accelerator-count=ACCELERATOR_COUNT

Windows (cmd.exe)

gcloud colab runtime-templates create --display-name="DISPLAY_NAME" ^
    --project=PROJECT_ID ^
    --region=REGION ^
    --machine-type=MACHINE_TYPE ^
    --accelerator-type=ACCELERATOR_TYPE ^
    --accelerator-count=ACCELERATOR_COUNT

Untuk mengetahui informasi selengkapnya tentang perintah untuk membuat template runtime dari command line, lihat dokumentasi gcloud CLI.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• REGION: region tempat Anda menginginkan template runtime.
• PROJECT_ID: project ID Anda.
• DISPLAY_NAME: nama tampilan template runtime Anda.
• MACHINE_TYPE: Jenis mesin yang akan digunakan untuk runtime Anda.
• ACCELERATOR_TYPE: jenis akselerator hardware yang akan digunakan untuk runtime Anda.
• ACCELERATOR_COUNT: jumlah akselerator yang akan digunakan untuk runtime Anda.

Metode HTTP dan URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates

Isi JSON permintaan:

{
  "displayName": "DISPLAY_NAME",
  "machineSpec": {
    {
      "machineType": MACHINE_TYPE
      "acceleratorType": ACCELERATOR_TYPE,
      "acceleratorCount": ACCELERATOR_COUNT,
    }
  },
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/notebookRuntimeTemplates" | Select-Object -Expand Content

Jika berhasil, isi respons akan berisi instance Operation.

Untuk informasi selengkapnya, lihat dokumentasi notebookRuntimeTemplates.create REST API.

Terraform

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi penyedia Terraform.

Contoh berikut menggunakan resource Terraform google_colab_runtime_template untuk membuat template runtime Colab Enterprise.

resource "google_compute_network" "my_network" {
  name = "{{index $.Vars "network_name"}}"
  auto_create_subnetworks = false
}

resource "google_compute_subnetwork" "my_subnetwork" {
  name   = "{{index $.Vars "network_name"}}"
  network = google_compute_network.my_network.id
  region = "us-central1"
  ip_cidr_range = "10.0.1.0/24"
}

resource "google_colab_runtime_template" "{{$.PrimaryResourceId}}" {
  name        = "{{index $.Vars "runtime_template_name"}}"
  display_name = "Runtime template full"
  location    = "us-central1"
  description = "Full runtime template"
  machine_spec {
    machine_type     = "n1-standard-2"
    accelerator_type = "NVIDIA_TESLA_T4"
    accelerator_count = "1"
  }

  data_persistent_disk_spec {
    disk_type    = "pd-standard"
    disk_size_gb = 200
  }

  network_spec {
    enable_internet_access = true
    network = google_compute_network.my_network.id
    subnetwork = google_compute_subnetwork.my_subnetwork.id
  }

  labels = {
    k = "val"
  }

  idle_shutdown_config {
    idle_timeout = "3600s"
  }

  euc_config {
    euc_disabled = true
  }

  shielded_vm_config {
    enable_secure_boot = true
  }

  network_tags = ["abc", "def"]

  encryption_spec {
    kms_key_name = "{{index $.Vars "key_name"}}"
  }

  software_config {
    env {
      name         = "TEST"
      value   = 1
    }

    post_startup_script_config {
      post_startup_script = "echo 'hello world'"
      post_startup_script_url = "gs://colab-enterprise-pss-secure/secure_pss.sh"
      post_startup_script_behavior = "RUN_ONCE"
    }
  }
}

Memberikan akses ke template runtime

Setelah membuat template runtime, Anda harus memberikan akses ke template tersebut agar akun utama dapat menggunakannya. Akun utama dapat membuat runtime dari template runtime hanya jika memiliki hal berikut:

• Akses ke template runtime.
• Izin yang diperlukan untuk membuat runtime.

Lihat Mengelola akses ke template runtime.

Menghapus template runtime

Untuk menghapus template runtime:

1. Di Google Cloud console, buka halaman Runtime templates Colab Enterprise.

   Buka Template Runtime

2. Di menu Region, pilih region yang berisi template runtime Anda.

3. Pilih template runtime yang ingin dihapus.

4. Klik delete Delete.

5. Klik Konfirmasi.

Memecahkan masalah

Bagian ini menjelaskan cara menyelesaikan masalah terkait pembuatan template runtime di Colab Enterprise.

Tidak dapat memilih GPU yang cukup

Saat membuat template runtime, Anda tidak dapat memilih jumlah GPU yang diinginkan. Hal ini mungkin karena Anda tidak memiliki cukup kuota.

Colab Enterprise menggunakan kuota Compute Engine untuk GPU. Untuk informasi selengkapnya, lihat ringkasan kuota dan batas Compute Engine.

Untuk mengatasi masalah ini, minta batas kuota yang lebih tinggi.

Langkah berikutnya

• Pelajari lebih lanjut runtime dan template runtime.
• Pelajari cara membuat runtime berdasarkan template runtime.