Pianificare un trasferimento di Snowflake

Il connettore Snowflake fornito da BigQuery Data Transfer Service ti consente di pianificare e gestire i job di trasferimento automatico per eseguire la migrazione dei dati da Snowflake a BigQuery utilizzando liste consentite di IP pubblici.

Panoramica

Il connettore Snowflake coinvolge gli agenti di migrazione in Google Kubernetes Engine e attiva un'operazione di caricamento da Snowflake a un'area temporanea all'interno dello stesso provider cloud in cui è ospitato Snowflake. Per gli account Snowflake ospitati su AWS, i dati vengono prima sottoposti a staging nel bucket Amazon S3, che viene poi trasferito a BigQuery con BigQuery Data Transfer Service.

Il seguente diagramma mostra come i dati vengono trasferiti da un data warehouse Snowflake ospitato su AWS a BigQuery.

Limitazioni

I trasferimenti di dati effettuati utilizzando il connettore Snowflake sono soggetti alle seguenti limitazioni:

• I trasferimenti di dati sono supportati solo dagli account Snowflake ospitati su AWS. I trasferimenti di dati dagli account Snowflake ospitati su Google Cloud o Microsoft Azure non sono supportati.
• Il connettore Snowflake non supporta i trasferimenti di dati incrementali.
• Il connettore Snowflake supporta solo i trasferimenti dalle tabelle all'interno di un singolo database e schema Snowflake. Per eseguire il trasferimento da tabelle con più database o schemi Snowflake, puoi configurare ogni job di trasferimento separatamente.
• La velocità di caricamento dei dati da Snowflake al tuo bucket Amazon S3 è limitata dal data warehouse Snowflake che hai scelto per questo trasferimento.

• I dati vengono estratti da Snowflake nel formato dati Parquet prima di essere caricati in BigQuery:

  • I seguenti tipi di dati Parquet non sono supportati:
    • TIMESTAMP_TZ, TIMESTAMP_LTZ
    • OBJECT, VARIANT, ARRAY
    • Per ulteriori informazioni, consulta Valutare i dati di Snowflake.

  • Il seguente tipo di dati Parquet non è supportato, ma può essere convertito:

    • TIMESTAMP_NTZ

    Utilizza il file YAML di configurazione della conversione del tipo globale per ignorare il comportamento predefinito della conversione di DATETIME in TIMESTAMP quando generi i metadati ed esegui il motore di traduzione.

    Il file YAML di configurazione potrebbe avere un aspetto simile all'esempio riportato di seguito:

    type: experimental_object_rewriter
    global:
      typeConvert:
        datetime: TIMESTAMP
    

Prima di iniziare

Prima di configurare un trasferimento di Snowflake, devi eseguire tutti i passaggi elencati in questa sezione. Di seguito è riportato un elenco di tutti i passaggi obbligatori.

1. Prepara il Google Cloud progetto
2. Ruoli BigQuery obbligatori
3. Prepara il bucket Amazon S3
4. Crea un utente Snowflake con le autorizzazioni richieste
5. Aggiungere criteri di rete
6. Genera metadati ed esegui il motore di traduzione
7. Valutare Snowflake per verificare la presenza di tipi di dati non supportati
8. Raccogliere le informazioni sul trasferimento

Prepara il progetto Google Cloud

Crea e configura il Google Cloud progetto per un trasferimento su Snowflake con i seguenti passaggi:

1. Crea un Google Cloud progetto o selezionane uno esistente.

2. Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.

3. Crea un set di dati BigQuery per archiviare i tuoi dati. Non è necessario creare tabelle.

Ruoli BigQuery obbligatori

Per ottenere le autorizzazioni necessarie per creare un trasferimento, chiedi all'amministratore di concederti il ruolo IAM Amministratore BigQuery (roles/bigquery.admin). Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Prepara il bucket Amazon S3

Per completare un trasferimento di dati di Snowflake, devi creare un bucket Amazon S3 e poi configurarlo per consentire l'accesso in scrittura da Snowflake.

1. Crea un bucket Amazon S3. Il bucket Amazon S3 viene utilizzato per eseguire lo staging dei dati prima che vengano caricati in BigQuery.

2. Crea e configura un oggetto di integrazione dello spazio di archiviazione Snowflake per consentire a Snowflake di scrivere i dati nel bucket Amazon S3 come fase esterna.

Per consentire l'accesso in lettura al tuo bucket Amazon S3, devi anche svolgere le seguenti operazioni:

1. Crea un utente Amazon IAM dedicato e assegnagli il criterio AmazonS3ReadOnlyAccess.

2. Crea una coppia di chiavi di accesso Amazon per l'utente IAM.

Crea un utente Snowflake con le autorizzazioni richieste

Durante un trasferimento Snowflake, il connettore Snowflake si connette al tuo account Snowflake utilizzando una connessione JDBC. Devi creare un nuovo utente Snowflake con un ruolo personalizzato che abbia solo i privilegi necessari per eseguire il trasferimento dei dati:

  // Create and configure new role, MIGRATION_ROLE
  GRANT USAGE
    ON WAREHOUSE WAREHOUSE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON DATABASE DATABASE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON SCHEMA DATABASE_NAME.SCHEMA_NAME
    TO ROLE MIGRATION_ROLE;

  // You can modify this to give select permissions for all tables in a schema
  GRANT SELECT
    ON TABLE DATABASE_NAME.SCHEMA_NAME.TABLE_NAME
    TO ROLE MIGRATION_ROLE;

  GRANT USAGE
    ON STORAGE_INTEGRATION_OBJECT_NAME
    TO ROLE MIGRATION_ROLE;

Sostituisci quanto segue:

• MIGRATION_ROLE: il nome del ruolo personalizzato che stai creando
• WAREHOUSE_NAME: il nome del data warehouse
• DATABASE_NAME: il nome del database Snowflake
• SCHEMA_NAME: il nome dello schema Snowflake
• TABLE_NAME: il nome di Snowflake incluso in questo trasferimento di dati
• STORAGE_INTEGRATION_OBJECT_NAME: il nome dell'oggetto di integrazione dello spazio di archiviazione Snowflake.

Aggiungere criteri di rete

Per la connettività pubblica, l'account Snowflake consente per impostazione predefinita la connessione pubblica con le credenziali del database. Tuttavia, potresti aver configurato regole o criteri di rete che potrebbero impedire al connettore Snowflake di connettersi al tuo account. In questo caso, devi aggiungere gli indirizzi IP necessari alla lista consentita.

La tabella seguente è un elenco di indirizzi IP per le località regionali e multiregionali utilizzate per i trasferimenti pubblici. Puoi aggiungere gli indirizzi IP corrispondenti solo alla località del tuo set di dati oppure tutti gli indirizzi IP elencati nella tabella. Si tratta di indirizzi IP riservati da Google per i trasferimenti di dati di BigQuery Data Transfer Service.

Per aggiungere un indirizzo IP a una lista consentita:

1. Crea una regola di rete con type = IPV4. BigQuery Data Transfer Service utilizza una connessione JDBC per collegarsi all'account Snowflake.
2. Crea un criterio di rete con la regola di rete creata in precedenza e l'indirizzo IP riportato nella tabella seguente.

Località regionali

Località in più regioni

¹ I dati che si trovano nella regione multipla EU non vengono memorizzati nei data center europe-west2 (Londra) o europe-west6 (Zurigo).

Genera metadati ed esegui il motore di traduzione

Il connettore BigQuery Data Transfer Service per Snowflake utilizza il motore di traduzione di BigQuery Migration Service per la mappatura dello schema durante la migrazione delle tabelle Snowflake in BigQuery. Per completare un trasferimento di dati di Snowflake, devi prima generare i metadati per la traduzione, quindi eseguire il motore di traduzione:

1. Esegui dwh-migration-tool per Snowflake. Per ulteriori informazioni, consulta Generare metadati per la traduzione e la valutazione.
2. Carica il file metadata.zip generato in un bucket Cloud Storage. Il file metadata.zip viene utilizzato come input per il motore di traduzione.
3. Esegui il servizio di traduzione batch, specificando il campo target_types come dts-mapping. Per saperne di più, vedi Tradurre query SQL con l'API Translation.
   • Di seguito è riportato un esempio di comando per eseguire una traduzione batch per Snowflake:

     curl -d "{
     "name": "sf_2_bq_translation",
     "displayName": "Snowflake to BigQuery Translation",
     "tasks": {
       string: {
         "type": "Snowflake2BigQuery_Translation",
         "translation_details": {
             "target_base_uri": "gs://sf_test_translation/output",
             "source_target_mapping": {
               "source_spec": {
                   "base_uri": "gs://sf_test_translation/input"
               }
             },
             "target_types": "dts-mapping",
         }
       }
     },
     }" 
     
     -H "Content-Type:application/json" 
     
     -H "Authorization: Bearer TOKEN" -X POST https://bigquerymigration.googleapis.com/v2alpha/projects/project_id/locations/location/workflows
     

   • Puoi controllare lo stato di questo comando nella pagina Traduzione SQL in BigQuery. L'output del job di traduzione batch viene archiviato in gs://translation_target_base_uri/dts/config/.

Autorizzazioni degli account di servizio richieste

In un trasferimento Snowflake, viene utilizzato un account di servizio per leggere i dati dall'output del motore di traduzione nel percorso Cloud Storage specificato. Devi concedere all'account di servizio le autorizzazioni storage.objects.get e storage.objects.list.

Se l'account di servizio proviene da un Google Cloud progetto diverso da quello che ha creato il trasferimento dei dati di BigQuery, devi anche abilitare l'autorizzazione dell'account di servizio tra progetti.

Per ulteriori informazioni, consulta Ruoli e autorizzazioni IAM di BigQuery.

Valutare i dati di Snowflake

BigQuery scrive i dati da Snowflake in Cloud Storage come file Parquet. I file Parquet non supportano i tipi di dati TIMESTAMP_TZ e TIMESTAMP_LTZ. Se i tuoi dati contengono questi tipi, puoi esportarli in Amazon S3 come file CSV e poi importarli in BigQuery. Per ulteriori informazioni, consulta la Panoramica dei trasferimenti di Amazon S3.

Raccogliere le informazioni sul trasferimento

Raccogliere le informazioni necessarie per configurare la migrazione con BigQuery Data Transfer Service:

• L'identificatore dell'account Snowflake, ovvero il prefisso nell'URL dell'account Snowflake. Ad esempio, ACCOUNT_IDENTIFIER.snowflakecomputing.com.
• Il nome utente e la password di un utente con le autorizzazioni appropriate per il database Snowflake. Deve solo disporre delle autorizzazioni necessarie per eseguire il trasferimento dei dati.
• L'URI del bucket Amazon S3 che vuoi utilizzare per il trasferimento e la coppia di chiavi di accesso utente AWS. Ti consigliamo di configurare un criterio di ciclo di vita per questo bucket per evitare addebiti non necessari.
• L'URI del bucket Cloud Storage in cui hai archiviato i file di mappatura dello schema ottenuti dal motore di traduzione.

Configurare un trasferimento da Snowflake

Seleziona una delle seguenti opzioni:

bq mk \
    --transfer_config \
    --project_id=project_id \
    --data_source=data_source \
    --target_dataset=dataset \
    --display_name=name \
    --service_account_name=service_account \
    --params='parameters'

  PARAMS='{
  "account_identifier": "your_account_identifier",
  "aws_access_key_id": "your_access_key_id",
  "aws_secret_access_key": "your_aws_secret_access_key",
  "cloud_provider": "AWS",
  "database": "your_sf_database",
  "password": "your_sf_password",
  "schema": "your_snowflake_schema",
  "service_account": "your_service_account",
  "storage_integration_object_name": "your_storage_integration_object",
  "staging_s3_uri": "s3://your/s3/bucket/uri",
  "table_name_patterns": ".*",
  "translation_output_gcs_path": "gs://sf_test_translation/output/dts/database_name/schema_name/",
  "username": "your_sf_username",
  "warehouse": "your_warehouse"
}'

bq mk --transfer_config \
    --project_id=your_project_id \
    --target_dataset=your_bq_dataset \
    --display_name='snowflake transfer config' \
    --params="$PARAMS" \
    --data_source=snowflake_migration

Quote e limiti

BigQuery ha una quota di caricamento di 15 TB per ogni job di caricamento per ogni tabella. Internamente, Snowflake comprime i dati della tabella, pertanto la dimensione della tabella esportata è maggiore di quella indicata da Snowflake. Se prevedi di eseguire la migrazione di una tabella di dimensioni superiori a 15 TB, contatta dts-migration-preview-support@google.com.

A causa del modello di coerenza di Amazon S3, è possibile che alcuni file non vengano inclusi nel trasferimento a BigQuery.

Prezzi

Per informazioni sui prezzi di BigQuery Data Transfer Service, consulta la pagina Prezzi.

• Se il magazzino Snowflake e il bucket Amazon S3 si trovano in regioni diverse, Snowflake applica gli addebiti in uscita quando esegui un trasferimento di dati Snowflake. Non vengono addebitati costi di uscita per i trasferimenti di dati di Snowflake se sia il data warehouse Snowflake sia il bucket Amazon S3 si trovano nella stessa regione.
• Quando i dati vengono trasferiti da AWS a Google Cloud, vengono applicati gli addebiti per il traffico in uscita tra cloud.

Passaggi successivi

• Scopri di più su BigQuery Data Transfer Service.
• Esegui la migrazione del codice SQL con la traduzione SQL batch.