Копирование и преобразование данных в Snowflake версии 2 с помощью Azure Data Factory или Azure Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

В этой статье описывается использование Copy activity в конвейерах Azure Data Factory и Azure Synapse для копирования данных из и в Snowflake, а также использование Data Flow для преобразования данных в Snowflake. Дополнительные сведения см. в вводной статье Data Factory или Azure Synapse Analytics.

Поддерживаемые возможности

Этот соединитель Snowflake поддерживается для возможностей, указанных ниже:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Для Copy activity этот соединитель Snowflake поддерживает следующие функции:

• Скопируйте данные из Snowflake, используя команду COPY into [location], чтобы добиться оптимальной производительности.
• Скопируйте данные в Snowflake, который использует команду COPY INTO [table] для максимальной производительности. Он поддерживает Snowflake на Azure.
• Если прокси-сервер необходим для подключения к Snowflake из локального Integration Runtime, необходимо настроить переменные среды для HTTP_PROXY и HTTPS_PROXY на узле Integration Runtime.

Prerequisites

Если хранилище данных находится в локальной сети, виртуальной сети Azure или Amazon Virtual Private Cloud, необходимо настроить самостоятельно размещаемую среду выполнения интеграции для подключения к нему. Обязательно добавьте IP-адреса, которые использует локальная среда выполнения интеграции, в список разрешенных.

Если хранилище данных является управляемой облачной службой данных, можно использовать Azure Integration Runtime. Если доступ ограничен ip-адресами, утвержденными в правилах брандмауэра, можно добавить в список разрешенных ip-адресов Azure Integration Runtime/c0.

Учетная запись Snowflake, используемая для источника или приемника, должна иметь необходимый USAGE доступ к базе данных и доступ на чтение и запись в схеме и таблицах и представлениях под ним. Кроме того, на схеме должно быть CREATE STAGE, чтобы создавать внешнюю стадию с URI SAS.

Необходимо задать приведенные ниже значения свойств учетной записи.

Дополнительные сведения о механизмах и вариантах безопасности сети, поддерживаемых фабрикой данных, см. в стратегиях доступа к данным.

Get started

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

• Средство копирования данных
• портал Azure
• SDK .NET
• пакет SDK Python
• Azure PowerShell
• REST API
• шаблон Azure Resource Manager

Создание связанной службы со Snowflake с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с Snowflake в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Azure Data Factory или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск Snowflake и выберите соединитель Snowflake.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, используемых для определения сущностей, относящихся к соединителю Snowflake.

Свойства связанной службы

Эти универсальные свойства поддерживаются для связанной службы Snowflake:

В зависимости от вашего случая можно задать следующие дополнительные свойства подключения в связанной службе.

Этот соединитель Snowflake поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах.

• Обычная проверка подлинности
• Проверка подлинности пары ключей

Basic authentication

Чтобы использовать обычную проверку подлинности, в дополнение к универсальным свойствам, описанным в предыдущем разделе, укажите следующие свойства:

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Password в Azure Key Vault:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "Basic",
            "user": "<username>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Проверка подлинности пары ключей

Чтобы использовать аутентификацию с помощью пары ключей, необходимо настроить и создать пользователя с аутентификацией по паре ключей в Snowflake, ссылаясь на Аутентификация по паре ключей и ротация ключей. Затем запишите закрытый ключ и парольную фразу (необязательно), которая используется для определения связанной службы.

В дополнение к общим свойствам, описанных в предыдущих разделах, укажите следующие свойства:

Example:

{
    "name": "SnowflakeV2LinkedService",
    "properties": {
        "type": "SnowflakeV2",
        "typeProperties": {
            "accountIdentifier": "<accountIdentifier>",
            "database": "<database>",
            "warehouse": "<warehouse>",
            "authenticationType": "KeyPair",
            "user": "<username>",
            "privateKey": {
                "type": "SecureString",
                "value": "<privateKey>"
            },
            "privateKeyPassphrase": { 
                "type": "SecureString",
                "value": "<privateKeyPassphrase>"
            },
            "role": "<role>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье " Наборы данных ".

Для набора данных Snowflake поддерживаются свойства, указанные ниже.

Example:

{
    "name": "SnowflakeV2Dataset",
    "properties": {
        "type": "SnowflakeV2Table",
        "typeProperties": {
            "schema": "<Schema name for your Snowflake database>",
            "table": "<Table name for your Snowflake database>"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "linkedServiceName": {
            "referenceName": "<name of linked service>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства Copy activity

Полный список разделов и свойств, доступных для определения действий, см. в статье "Конвейеры ". В этом разделе приведен список свойств, поддерживаемых источником и приемником Snowflake.

Snowflake в качестве источника

Соединитель Snowflake использует команду Snowflake COPY INTO [расположение], чтобы обеспечить лучшую производительность.

Если хранилище-назначение и его формат изначально поддерживаются командой Snowflake COPY, вы можете использовать действие "Копирование" для непосредственного копирования из Snowflake в хранилище-назначение. Для получения подробностей см. раздел "Прямая копия из Snowflake". В противном случае используйте встроенную функцию «Staged copy from Snowflake».

Чтобы скопировать данные из Snowflake, в разделе Copy activity source поддерживаются следующие свойства.

Прямое копирование из Snowflake

Если хранилище данных приемника и формат соответствуют критериям, описанным в этом разделе, можно использовать действие копирования для прямого копирования из Snowflake в приемник. Служба проверяет параметры и завершает работу Copy activity, если следующие критерии не выполнены:

• При указании storageIntegration в источнике:

  Хранилище данных приемника — это Azure Blob Storage, которое вы указали на внешнем уровне в Snowflake. Перед копированием данных необходимо выполнить следующие действия:

  1. Создайте связанную службу Azure Blob Storage для приемника Azure Blob Storage с любыми поддерживаемыми типами проверки подлинности.

  2. Предоставьте как минимум роль Участник данных BLOB-хранилища служебному принципалу Snowflake в пункте назначения Azure Blob Storage Управление доступом (IAM).

• Если вы не указываете storageIntegration в источнике:

  Служба sink, связанная с хранилищем Azure BLOB, с аутентификацией по подписанному общему доступу. Если вы хотите напрямую скопировать данные в Azure Data Lake Storage Gen2 в следующих поддерживаемых форматах, можно создать связанную службу Azure Blob Storage с аутентификацией SAS для учетной записи Azure Data Lake Storage Gen2, чтобы избежать использования промежуточного копирования из Snowflake.

• Формат данных приемника — Parquet, разделенный текст или JSON со следующими конфигурациями:

  • Для формата Parquet кодек сжатия — None, Snappy или Lzo.
  • Для формата текста с разделителями :
    • rowDelimiter — это \r\n, или любой одиночный символ.
    • compression может быть без сжатия, gzip, bzip2 или deflate.
    • encodingName оставлено по умолчанию или установлено значение utf-8.
    • quoteChar — двойнаякавычка, одна кавычка или пустая строка (без символа кавычки).
  • В формате JSON прямая копия поддерживает только тот случай, когда исходная таблица Snowflake или результат запроса содержит только один столбец, а тип данных этого столбца — VARIANT, OBJECT или ARRAY.
    • compression может быть без сжатия, gzip, bzip2 или deflate.
    • encodingName оставлено по умолчанию или установлено значение utf-8.
    • filePattern В приемнике действий копирования используется значение по умолчанию либо задано значение setOfObjects.

• В источнике действия копирования additionalColumns не указан.

• Сопоставление столбцов не указано.

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",
                "query": "SELECT * FROM MYTABLE",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "additionalCopyOptions": {
                        "MAX_FILE_SIZE": "64000000",
                        "OVERWRITE": true
                    },
                    "additionalFormatOptions": {
                        "DATE_FORMAT": "'MM/DD/YYYY'"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Промежуточное копирование из Snowflake

Если хранилище данных приемника или формат не совместимы с командой Snowflake COPY, как упоминалось в последнем разделе, включите встроенное поэтапное копирование с помощью интерфейса промежуточного Azure Blob Storage. Функция поэтапного копирования также обеспечивает более высокую пропускную способность. Служба экспортирует данные из Snowflake в промежуточное хранилище, затем копирует данные в приемник и, наконец, очищает промежуточное хранилище от временных данных. Сведения о копировании данных с помощью промежуточного копирования см. в разделе "Поэтапное копирование ".

Чтобы использовать эту функцию, создайте связанную службу Azure Blob Storage, которая ссылается на учетную запись хранилища Azure в качестве промежуточного хранилища. Затем укажите свойства enableStaging и stagingSettings в Copy activity.

• При указании storageIntegration в источнике временное хранилище Azure Blob Storage должно быть тем же, что и вы указали во внешнем этапе в Snowflake. Убедитесь, что вы создаете связанную службу Azure Blob Storage с любой поддерживаемой проверкой подлинности при использовании среды выполнения интеграции Azure или с анонимным ключом учетной записи, подписанным url-адресом или проверкой подлинности субъекта-службы при использовании локальной среды выполнения интеграции. Кроме того, предоставьте субъекту службы Snowflake роль "Данные хранилища BLOB - участник" в промежуточном Azure Blob Storage в разделе "Управление доступом (IAM)".

• Если в источнике не указано storageIntegration, служба, связанная с промежуточным хранилищем Azure Blob, должна использовать аутентификацию с использованием общего ключа доступа, как требуется командой Snowflake COPY. Убедитесь, что вы предоставляете Snowflake надлежащее разрешение на доступ к промежуточному хранилищу Azure Blob. Дополнительные сведения об этом см. в этой статье.

Example:

"activities":[
    {
        "name": "CopyFromSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Snowflake input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SnowflakeV2Source",               
                "query": "SELECT * FROM MyTable",
                "exportSettings": {
                    "type": "SnowflakeExportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"                    
                }
            },
            "sink": {
                "type": "<sink type>"
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

При выполнении поэтапной копии из Snowflake важно задать поведение копирования приемника для слияния файлов. Этот параметр гарантирует правильность обработки и объединения всех секционированных файлов, предотвращая проблему, из-за которой копируется только последний секционированный файл.

Пример конфигурации

{
    "type": "Copy",
    "source": {
        "type": "SnowflakeSource",
        "query": "SELECT * FROM my_table"
    },
    "sink": {
        "type": "AzureBlobStorage",
        "copyBehavior": "MergeFiles"
    }
}

Snowflake в качестве приемника

Соединитель Snowflake использует команду Snowflake COPY into [table], чтобы добиться оптимальной производительности. Он поддерживает запись данных в Snowflake на Azure.

Если исходное хранилище данных и формат нативно поддерживаются командой Snowflake COPY, можно использовать операцию копирования для непосредственного копирования из источника в Snowflake. Дополнительные сведения см. в разделе "Прямая копия в Snowflake". В противном случае используйте встроенную функцию Staged Copy to Snowflake.

Чтобы скопировать данные в Snowflake, в разделе Copy activity sink поддерживаются следующие свойства.

Прямое копирование в Snowflake

Если исходное хранилище данных и формат соответствуют критериям, описанным в этом разделе, можно использовать Copy activity для непосредственного копирования из источника в Snowflake. Служба проверяет параметры и завершает работу Copy activity, если следующие критерии не выполнены:

• При указании storageIntegration в приемнике:

  Исходное хранилище данных — это Azure Blob Storage, которое вы указали в этапе внешнего хранения в Snowflake. Перед копированием данных необходимо выполнить следующие действия:

  1. Создайте связанную службу Azure Blob Storage для исходного Azure Blob Storage с любыми поддерживаемыми типами проверки подлинности.

  2. Предоставьте субъекту-службе Snowflake роль Storage Blob Data Reader в разделе Access Control (IAM) исходного хранилища Azure Blob Storage.

• Если не указать storageIntegration в приемнике:

  Связанная служба исходная — это хранилище Azure Blob с аутентификацией с помощью общей подписи доступа. Если вы хотите копировать данные из Azure Data Lake Storage Gen2 напрямую в следующем поддерживаемом формате, можно создать связанную службу Azure Blob Storage с aутентификацией SAS, чтобы работать с аккаунтом Azure Data Lake Storage Gen2 и избежать использования промежуточного копирования в Snowflake.

• Исходный формат данных — Parquet, текст с разделителями или JSON со следующими конфигурациями:

  • Для формата Parquet кодек сжатия имеет значение None или Snappy.

  • Для формата текста с разделителями :

    • rowDelimiter — это \r\n, или любой одиночный символ. Если разделитель строк не является "\r\n", firstRowAsHeader должен быть false, и skipLineCount не указывается.
    • compression может быть без сжатия, gzip, bzip2 или deflate.
    • Для encodingName остается значение по умолчанию или устанавливается как "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
    • quoteChar — двойнаякавычка, одна кавычка или пустая строка (без символа кавычки).

  • Для формата JSON прямая копия поддерживает только тот случай, когда таблица Snowflake приемника имеет только один столбец, а тип данных этого столбца — VARIANT, OBJECT или ARRAY.

    • compression может быть без сжатия, gzip, bzip2 или deflate.
    • encodingName оставлено по умолчанию или установлено значение utf-8.
    • Сопоставление столбцов не указано.

• В источнике действия "Копирование":

  • additionalColumns не указан.
  • Если источником является папка, для recursive установлено значение true.
  • prefix, modifiedDateTimeStart, modifiedDateTimeEnd и enablePartitionDiscovery не указаны.

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "copyOptions": {
                        "FORCE": "TRUE",
                        "ON_ERROR": "SKIP_FILE"
                    },
                    "fileFormatOptions": {
                        "DATE_FORMAT": "YYYY-MM-DD"
                    },
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            }
        }
    }
]

Поэтапное копирование в Snowflake

Если исходное хранилище данных или формат не совместимы с командой Snowflake COPY, как упоминалось в последнем разделе, включите встроенное поэтапное копирование с помощью промежуточного экземпляра хранилища BLOB-объектов Azure. Функция поэтапного копирования также обеспечивает более высокую пропускную способность. Служба автоматически преобразует данные, чтобы они соответствовали требованиям к формату данных Snowflake. Затем она вызывает команду КОПИРОВАТЬ для загрузки данных в Snowflake. Наконец, она очищает ваши временные данные из хранилища блобов. Сведения о копировании данных с помощью промежуточного копирования см. в разделе "Поэтапное копирование ".

Чтобы использовать эту функцию, создайте связанную службу Azure Blob Storage, которая ссылается на учетную запись хранилища Azure в качестве промежуточного хранилища. Затем укажите свойства enableStaging и stagingSettings в Copy activity.

• При указании storageIntegration в приемнике промежуточный Azure Blob Storage должен быть тем, который вы указали во внешней стадии в Snowflake. Убедитесь, что вы создаете связанную службу Azure Blob Storage с любой поддерживаемой проверкой подлинности при использовании среды выполнения интеграции Azure или с анонимным ключом учетной записи, подписанным url-адресом или проверкой подлинности субъекта-службы при использовании локальной среды выполнения интеграции. Кроме того, предоставьте роль как минимум Storage Blob Data Reader основному объекту службы Snowflake в стейджинговом Azure Blob Storage Access Control (IAM).

• Если в приемнике не указано storageIntegration, промежуточной Azure Blob Storage связанной службе необходимо использовать проверку подлинности подписи общего доступа, как это требуется команде Snowflake COPY.

Example:

"activities":[
    {
        "name": "CopyToSnowflake",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Snowflake output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "SnowflakeV2Sink",
                "importSettings": {
                    "type": "SnowflakeImportCopyCommand",
                    "storageIntegration": "< Snowflake storage integration name >"
                }
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": {
                    "referenceName": "MyStagingBlob",
                    "type": "LinkedServiceReference"
                },
                "path": "mystagingpath"
            }
        }
    }
]

Сопоставление свойств потока данных

При преобразовании данных в сопоставительном потоке данных можно выполнять операции чтения и записи в таблицах Snowflake. Дополнительные сведения см. в преобразовании источника и преобразовании приемника в потоках сопоставления данных. Вы можете использовать набор данных Snowflake или встроенный набор данных в качестве источника и типа приемника.

Преобразование источника

В таблице, приведенной ниже, указаны свойства, поддерживаемые источником Snowflake. Эти свойства можно изменить на вкладке "Параметры источника ". Соединитель использует внутреннюю передачу данных Snowflake.

Примеры сценариев для источника Snowflake

При использовании набора данных Snowflake в качестве типа источника связанный сценарий потока данных будет следующим:

source(allowSchemaDrift: true,
	validateSchema: false,
	query: 'select * from MYTABLE',
	format: 'query') ~> SnowflakeSource

Если используется встроенный набор данных, связанный сценарий потока данных будет следующим:

source(allowSchemaDrift: true,
	validateSchema: false,
	format: 'query',
	query: 'select * from MYTABLE',
	store: 'snowflake') ~> SnowflakeSource

Встроенное отслеживание изменений

Azure Data Factory теперь поддерживает встроенную функцию в Snowflake, которая называется отслеживанием изменений, которая включает отслеживание изменений в виде журналов. Эта функция Snowflake позволяет следить за изменениями данных со временем, что делает её полезной для инкрементальной загрузки и аудита данных. Чтобы воспользоваться этой функцией, при включении Change data capture и выборе Snowflake Change Tracking мы создаём объект Stream для исходной таблицы, который позволяет отслеживать изменения на исходной таблице snowflake. Затем мы используем предложение CHANGES в нашем запросе для получения только новых или обновленных данных из исходной таблицы. Кроме того, рекомендуется запланировать конвейер так, чтобы изменения потреблялись в течение интервала времени хранения данных, установленного для исходной таблицы Snowflake, иначе пользователь может наблюдать несогласованное поведение в захваченных изменениях.

Преобразование приемника

В таблице, приведенной ниже, указаны свойства, поддерживаемые приемником Snowflake. Эти свойства можно изменить на вкладке "Параметры ". При использовании встроенного набора данных вы увидите дополнительные параметры, которые совпадают с свойствами, описанными в разделе свойств набора данных . Соединитель использует внутреннюю передачу данных Snowflake.

Примеры сценариев для приемника Snowflake

При использовании набора данных Snowflake в качестве типа приемника связанный сценарий потока данных будет следующим:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	deletable:true,
	insertable:true,
	updateable:true,
	upsertable:false,
	keys:['movieId'],
	format: 'table',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

Если используется встроенный набор данных, связанный сценарий потока данных будет следующим:

IncomingStream sink(allowSchemaDrift: true,
	validateSchema: false,
	format: 'table',
	tableName: 'table',
	schemaName: 'schema',
	deletable: true,
	insertable: true,
	updateable: true,
	upsertable: false,
	store: 'snowflake',
	skipDuplicateMapInputs: true,
	skipDuplicateMapOutputs: true) ~> SnowflakeSink

Оптимизация pushdown запроса

При установке уровня ведения журнала конвейера в значение None мы исключаем передачу промежуточных метрик преобразования, предотвращая потенциальные помехи для оптимизации Spark и обеспечивая оптимизацию выполнения запросов, доступную благодаря Snowflake. Эта оптимизация снижения нагрузки позволяет существенно ускорить обработку больших таблиц Snowflake с обширными наборами данных.

Сопоставление типов данных для Snowflake версии 2

При копировании данных из Snowflake используются следующие сопоставления типов данных Snowflake с промежуточными типами данных, применяемыми внутри службы. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

Свойства действия поиска

Дополнительные сведения о свойствах см. в действии поиска.

Жизненный цикл и обновление соединителя Snowflake

В следующей таблице показаны этап выпуска и журналы изменений для различных версий соединителя Snowflake:

Обновление соединителя Snowflake с версии 1 до версии 2

Чтобы обновить соединитель Snowflake с версии 1 до версии 2, можно выполнить параллельное обновление или обновление на месте.

Параллельное обновление

Чтобы выполнить параллельное обновление, выполните следующие действия.

1. Создайте связанную службу Snowflake и настройте ее, ссылаясь на свойства связанной службы версии 2.
2. Создайте набор данных на основе созданной связанной службы Snowflake.
3. Замените новую связанную службу и набор данных существующими в конвейерах, предназначенными для объектов версии 1.

Обновление на месте

Чтобы выполнить модернизацию на месте, необходимо изменить существующую полезную нагрузку связанной службы и обновить набор данных для использования новой связанной службы.

1. Обновите тип от Snowflake до SnowflakeV2.

2. Измените нагрузку связанной службы с формата версии 1 на версию 2. Вы можете заполнить каждое поле через пользовательский интерфейс после того, как измените упомянутый выше тип, или обновить payload непосредственно через редактор JSON. Сведения о поддерживаемых свойствах подключения см. в разделе свойств связанной службы в этой статье. В следующих примерах показаны различия полезной нагрузки для связанных служб V1 и V2 Snowflake.

   Полезные данные JSON связанной службы Snowflake версии 1:

     {
        "name": "Snowflake1",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "annotations": [],
            "type": "Snowflake",
            "typeProperties": {
                "authenticationType": "Basic",
                "connectionString": "jdbc:snowflake://<fake_account>.snowflakecomputing.com/?user=FAKE_USER&db=FAKE_DB&warehouse=FAKE_DW&schema=PUBLIC",
                "encryptedCredential": "<your_encrypted_credential_value>"
            },
            "connectVia": {
                "referenceName": "AzureIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

   JSON полезная нагрузка подключенной службы Snowflake V2:

    {
        "name": "Snowflake2",
        "type": "Microsoft.DataFactory/factories/linkedservices",
        "properties": {
            "parameters": {
                "schema": {
                    "type": "string",
                    "defaultValue": "PUBLIC"
                }
            },
            "annotations": [],
            "type": "SnowflakeV2",
            "typeProperties": {
                "authenticationType": "Basic",
                "accountIdentifier": "<FAKE_Account>",
                "user": "FAKE_USER",
                "database": "FAKE_DB",
                "warehouse": "FAKE_DW",
                "encryptedCredential": "<placeholder>"
            },
            "connectVia": {
                "referenceName": "AutoResolveIntegrationRuntime",
                "type": "IntegrationRuntimeReference"
            }
        }
    }
   

3. Обновите набор данных, чтобы использовать новую связанную службу. Можно создать новый набор данных на основе только что созданной связанной службы или обновить свойство типа существующего набора данных из SnowflakeTable на SnowflakeV2Table.

Обновление соединителя Snowflake версии 2 с версии 1.0 до версии 1.1

На странице "Изменить связанную службу " выберите 1.1 для версии. Дополнительные сведения см. в разделе "Свойства связанной службы".

Связанный контент

Список хранилищ данных, поддерживаемых в качестве источников и приемников Copy activity, см. в разделе поддерживаемые хранилища данных и форматы.