收集 Signal Sciences WAF 記錄

本文說明如何使用 Google Cloud Storage 將 Signal Sciences WAF 記錄匯入 Google 安全作業。剖析器會將 Signal Sciences 記錄從 JSON 格式轉換為 Chronicle 的統一資料模型 (UDM)。它會處理兩種主要的訊息結構：「RPC.PreRequest/PostRequest」訊息會使用 Grok 模式進行剖析，其他訊息則會以 JSON 物件的形式處理，擷取相關欄位並對應至 UDM 結構定義。

事前準備

請確認您已具備下列必要條件：

• Google SecOps 執行個體
• 在 Google Cloud 環境中設定並啟用 VPC Flow
• 可存取 Signal Sciences WAF 的特殊存取權

建立 Google Cloud 儲存空間值區

1. 登入 Google Cloud 控制台。

2. 前往「Cloud Storage Buckets」(Cloud Storage 值區) 頁面。

   前往「Buckets」(值區) 頁面

3. 按一下 [建立]。

4. 在「Create a bucket」(建立值區) 頁面中輸入值區資訊。完成下列每個步驟後，請按一下「繼續」繼續下一步：

   1. 在「開始使用」部分執行下列操作：

      • 輸入符合值區名稱規定的不重複名稱 (例如 vpcflow-logs)。
      • 如要啟用階層命名空間，請按一下展開箭頭，展開「為檔案導向和資料密集型工作負載進行最佳化」部分，然後選取「為這個值區啟用階層命名空間」。
      • 如要新增分類標籤，請按一下展開箭頭，展開「Labels」部分。
      • 按一下「Add label」(新增標籤)，然後指定標籤的鍵和值。

   2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中執行下列操作：

      • 選取「位置類型」。
      • 使用位置類型選單選取位置，指定要永久儲存值區內物件資料的位置。
      • 如要設定跨值區複製作業，請展開「設定跨值區複製作業」部分。

   3. 在「Choose a storage class for your data」專區中，為值區選取預設儲存空間級別，或選取「Autoclass」，讓系統自動管理值區的資料儲存空間級別。

   4. 在「選取如何控制物件的存取權」專區中，選取「否」來強制執行公開存取防護，然後為值區物件選取存取權控管模型。

   5. 在「Choose how to protect object data」(選擇保護物件資料的方式) 專區中執行下列操作：

      • 選取「資料保護」下方的任一選項，設定值區。
      • 如要選擇物件資料的加密方式，請按一下標示為「資料加密」的展開箭頭，然後選取「資料加密方法」。

5. 按一下 [建立]。

設定 Signal Sciences WAF API 金鑰

1. 登入 Signal Sciences WAF 網頁 UI。
2. 依序前往「我的個人資料」>「API 存取權權杖」。
3. 按一下「新增 API 存取權杖」。
4. 請提供不重複的描述性名稱 (例如 Google SecOps)。
5. 按一下「Create API access token」。
6. 複製並儲存權杖至安全的位置。
7. 按一下「我知道了」，即可完成建立權杖程序。

在 Linux 主機上部署指令碼，從 Signal Sciences 提取記錄並儲存在 Google Cloud中

1. 使用 SSH 登入 Linux 主機。

2. 安裝 Python 程式庫，將 Signal Sciences WAF JSON 儲存至 Cloud Storage 值區：

   pip install google-cloud-storage
   

3. 設定這個環境變數，呼叫含有 Google Cloud憑證的 JSON 檔案：

   export GOOGLE_APPLICATION_CREDENTIALS="path/to/your/service-account-key.json"
   

4. 請設定下列環境變數，因為這些資訊不得硬式編碼：

   export SIGSCI_EMAIL=<Signal_Sciences_account_email>
   export SIGSCI_TOKEN=<Signal_Sciences_API_token>
   export SIGSCI_CORP=<Corporation_name_in_Signal_Sciences>
   

5. 執行下列指令碼：

   import sys
   import requests
   import os
   import calendar
   import json
   from datetime import datetime, timedelta
   from google.cloud import storage
   
   # Check if all necessary environment variables are set
   
   if 'SIGSCI_EMAIL' not in os.environ or 'SIGSCI_TOKEN' not in os.environ or 'SIGSCI_CORP' not in os.environ:
   print("ERROR: You need to define SIGSCI_EMAIL, SIGSCI_TOKEN, and SIGSCI_CORP environment variables.")
   print("Please fix and run again. Existing...")
   sys.exit(1)  # Exit if environment variables are not set
   
   # Define the Google Cloud Storage bucket name and output file name
   
   bucket_name = 'Your_GCS_Bucket'  # Replace with your GCS bucket name
   output_file_name = 'signal_sciences_logs.json'
   
   # Initialize Google Cloud Storage client
   
   storage_client = storage.Client()
   
   # Function to upload data to Google Cloud Storage
   
   def upload_to_gcs(bucket_name, data, destination_blob_name):
       bucket = storage_client.bucket(bucket_name)
       blob = bucket.blob(destination_blob_name)
       blob.upload_from_string(data, content_type='application/json')
       print(f"Data uploaded to {destination_blob_name} in bucket {bucket_name}")
   
   # Signal Sciences API information
   
   api_host = 'https://dashboard.signalsciences.net'
   # email = 'user@domain.com'  # Signal Sciences account email
   # token = 'XXXXXXXX-XXXX-XXX-XXXX-XXXXXXXXXXXX'  # API token for authentication
   # corp_name = 'Domain'  # Corporation name in Signal Sciences
   # site_names = ['testenv']  # Replace with your actual site names
   
   # List of comma-delimited sites that you want to extract data from
   
   site_names = [ 'site123', 'site345' ]        # Define all sites to pull logs from
   
   email = os.environ.get('SIGSCI_EMAIL')       # Signal Sciences account email
   token = os.environ.get('SIGSCI_TOKEN')       # API token for authentication
   corp_name = os.environ.get('SIGSCI_CORP')    # Corporation name in Signal Sciences
   
   # Calculate the start and end timestamps for the previous hour in UTC
   
   until_time = datetime.utcnow().replace(minute=0, second=0, microsecond=0)
   from_time = until_time - timedelta(hours=1)
   until_time = calendar.timegm(until_time.utctimetuple())
   from_time = calendar.timegm(from_time.utctimetuple())
   
   # Prepare HTTP headers for the API request
   
   headers = {
       'Content-Type': 'application/json',
       'x-api-user': email,
       'x-api-token': token
   }
   
   # Collect logs for each site
   
   collected_logs = []
   
   for site_name in site_names:
       url = f"{api_host}/api/v0/corps/{corp_name}/sites/{site_name}/feed/requests?from={from_time}&until={until_time}"
       while True:
           response = requests.get(url, headers=headers)
           if response.status_code != 200:
               print(f"Error fetching logs: {response.text}", file=sys.stderr)
               break
   
           # Parse the JSON response
   
           data = response.json()
           collected_logs.extend(data['data'])  # Add the log messages to our list
   
           # Pagination: check if there is a next page
   
           next_url = data.get('next', {}).get('uri')
           if not next_url:
               break
           url = api_host + next_url
   
   # Convert the collected logs to a newline-delimited JSON string
   
   json_data = '\n'.join(json.dumps(log) for log in collected_logs)
   
   # Save the newline-delimited JSON data to a GCS bucket
   
   upload_to_gcs(bucket_name, json_data, output_file_name)
   

在 Google SecOps 中設定動態饋給，以便擷取 Signal Sciences WAF 記錄

1. 依序前往「SIEM 設定」>「動態饋給」。
2. 按一下「新增」。
3. 在「動態饋給名稱」欄位中輸入動態饋給的名稱 (例如 Signal Sciences WAF Logs)。
4. 選取「Google Cloud Storage」做為「來源類型」。
5. 選取「Signal Sciences WAF」做為「記錄類型」。
6. 按一下「取得服務帳戶」，做為「Chronicle 服務帳戶」。
7. 點按「Next」。

8. 指定下列輸入參數的值：

   • Storage Bucket URI： Google Cloud 以 gs://my-bucket/<value> 格式表示的儲存空間值區網址。
   • URI 是：選取「Directory which includes subdirectories」。

   • 來源刪除選項：根據個人偏好選取刪除選項。

   • 資產命名空間：資產命名空間。

   • 擷取標籤：套用至這個動態饋給事件的標籤。

9. 點按「Next」。

10. 在「完成」畫面中查看新的動態饋給設定，然後按一下「提交」。

UDM 對應表

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。