Настройка Snowflake для выполнения копирования

В этой статье объясняется, как использовать действие копирования в конвейере для копирования данных из и в Snowflake.

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Картирование
• Settings

Общие сведения

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Источник

Следующие свойства поддерживаются для Snowflake на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение Snowflake из списка подключений. Если подключение не существует, создайте новое подключение Snowflake.

  • Дополнительные свойства подключения: укажите дополнительные свойства подключения, которые будут использоваться в подключении Snowflake для задания дополнительных параметров. Дополнительные свойства подключения предоставляются в формате словаря, содержащего пары "ключ-значение".

    • Роль: роль безопасности по умолчанию, используемая для сеанса после подключения. Дополнительные сведения см. в этой статье.

      

• База данных: база данных по умолчанию, используемая после подключения. Следует указать существующую базу данных, для которой указанная роль имеет привилегии.

• Используйте запрос: в качестве запроса можно выбрать таблицу или запрос. В следующем списке описана конфигурация каждого параметра.

  • Таблица. Выберите таблицу в базе данных из раскрывающегося списка. Или проверьте раздел Редактировать, чтобы ввести имя таблицы вручную.
  • Запрос. Укажите SQL-запрос для чтения данных из Snowflake. Если имена схемы, таблицы и столбцов содержат строчные буквы, заключайте идентификатор объекта в кавычки, например select * from "schema"."myTable".

• Версия: укажите версию. Рекомендуется обновить до последней версии, чтобы воспользоваться новыми улучшениями. Чтобы узнать разницу между различными версиями, перейдите в этот раздел.

В разделе "Дополнительно" можно указать следующие поля:

• Интеграция хранилища. Укажите имя интеграции хранилища, созданной в Snowflake. Инструкции по использованию интеграции хранилища см. в разделе "Настройка интеграции хранилища Snowflake". Интеграцию хранилища можно использовать для прямого копирования из Snowflake или поэтапной копии из Snowflake.

• Дополнительные параметры копирования Snowflake: укажите дополнительные параметры копирования Snowflake, которые будут использоваться в инструкции Snowflake COPY для загрузки данных. Дополнительные параметры копирования предоставляются в формате словаря пар "ключ-значение". Примеры: MAX_FILE_SIZE, OVERWRITE. Дополнительные сведения см. в разделе "Параметры копирования Snowflake".

  

• Дополнительные параметры формата Snowflake: укажите дополнительные параметры формата Snowflake, которые будут использоваться в инструкции Snowflake COPY для загрузки данных. Дополнительные параметры формата файла, предоставляемые команде COPY, предоставляются в виде словаря пар "ключ-значение". Примеры: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Дополнительные сведения см. в разделе "Параметры типа формата Snowflake".

  Скриншот, демонстрирующий дополнительные параметры форматирования Snowflake для источника.

Прямое копирование из Snowflake

Если целевое хранилище данных и формат соответствуют критериям, описанным в этом разделе, можно использовать Copy activity для непосредственного копирования из Snowflake в место назначения. Служба проверяет параметры и завершает работу Copy activity, если следующие критерии не выполнены:

• При указании интеграции хранилища в исходных данных: целевое хранилище данных — это Azure Blob Storage, которое вы указали на внешнем уровне в Snowflake. Перед копированием данных необходимо выполнить следующие действия:

  1. Создайте подключение Azure Blob Storage для целевого Azure Blob Storage с помощью любого поддерживаемого типа проверки подлинности, за исключением проверки подлинности учетной записи организации.

  2. Предоставьте как минимум роль Storage Blob Data Contributor сервисному принципалу Snowflake в целевом Azure Blob Storage Access Control (IAM).

• Если интеграция хранилища не указана в источнике:

  Целевое подключение — это хранилище объектов Blob в Azure с аутентификацией по подписи общего доступа. Если вы хотите напрямую скопировать данные в Azure Data Lake Storage Gen2 в следующем поддерживаемом формате, вы можете создать подключение Azure Blob Storage с аутентификацией SAS для учетной записи Azure Data Lake Storage Gen2, чтобы избежать использования этапного копирования из Snowflake.

• Формат данных назначения — Parquet, DelimitedText или JSON со следующими конфигурациями:

  • Для формата Parquet кодек сжатия — None, Snappy или Lzo.
  • Для формата Текст с разделителями:
    • Разделитель строк — \r\n или любой одинарный символ.
    • Тип сжатия может быть None, gzip, bzip2 или deflate.
    • Кодировка остается по умолчанию или имеет значение UTF-8.
    • Символ кавычки — двойная кавычка, одинарный или нет символа кавычки.
  • В формате JSON прямая копия поддерживает только тот случай, когда исходная таблица Snowflake или результат запроса содержит только один столбец, а тип данных этого столбца — VARIANT, OBJECT или ARRAY.
    • Тип сжатия может быть None, gzip, bzip2 или deflate.
    • Кодировка остается по умолчанию или имеет значение UTF-8.
    • Шаблон файла в назначении действия копирования остается по умолчанию или имеет значение Set of objects.

• В источнике действия копирования дополнительные столбцы не указаны.

• Сопоставление столбцов не указано.

Поэтапное копирование из Snowflake

Если целевое хранилище данных или формат не совместимы с командой Snowflake COPY, используйте поэтапное копирование. Вы можете выбрать этапную копию рабочей среды или внешнюю этапную копию с временным экземпляром хранилища Blob Azure. Функция поэтапного копирования также обеспечивает более высокую пропускную способность. Служба экспортирует данные из Snowflake в промежуточное хранилище, а затем копирует данные в место назначения и, наконец, очищает временные данные из промежуточного хранилища. Дополнительные сведения о поэтапном копировании см. в этой статье.

• Подготовительное копирование рабочей области

  Чтобы использовать эту функцию, перейдите на вкладку "Параметры " и выберите рабочую область в качестве промежуточного типа хранилища данных. Промежуточное хранилище — это встроенное в Fabric хранилище данных. Вам потребуется выполнить дополнительные конфигурации на основе того, указана ли интеграция хранилища в источнике:

  • При указании интеграции хранилища в источнике выполните следующие действия.

    1. Создайте интеграцию облачного хранилища Snowflake и задайте один из следующих URL-адресов OneLake как STORAGE_ALLOWED_LOCATIONS: azure://onelake.blob.fabric.microsoft.com/<Workspace ID>/<Pipeline/Copy job ID>/Staging или azure://onelake.blob.fabric.microsoft.com/<Workspace ID>.
    2. Чтобы получить объект-службы Snowflake, выполните первые 3 действия, описанные в разделе "Предоставление доступа Snowflake к расположениям хранилища", а затем предоставьте ему в вашей рабочей области разрешение уровня не ниже Участник.

  • Если в источнике не указано Storage integration, вы можете напрямую использовать встроенное промежуточное хранилище в Fabric.

• Внешняя тестовая копия

  Чтобы использовать эту функцию, создайте подключение к хранилищу BLOB-объектов Azure, которое ссылается на учетную запись хранения Azure в качестве промежуточного этапа. Затем перейдите на вкладку "Параметры" , чтобы настроить промежуточные параметры. Чтобы настроить промежуточное подключение Azure Blob Storage, необходимо выбрать External.

  • При указании интеграции Storage в источнике промежуточный Azure Blob Storage должен быть тем, который вы указали во внешней стадии в Snowflake. Убедитесь, что вы создаете подключение к Azure Blob Storage с любой поддерживаемой проверкой подлинности, кроме проверки подлинности учетной записи организации, и предоставьте, по крайней мере, роль Storage Blob Data Contributor субъекту-службы Snowflake в разделе управления доступом Access Control (IAM) промежуточного Azure Blob Storage. Путь к хранилищу в промежуточных параметрах на вкладке "Параметры" является обязательным.

  • Если в источнике не указать интеграцию Storage промежуточное подключение Azure Blob Storage должно использовать проверку подлинности подписи общего доступа, как требуется команде Snowflake COPY. Убедитесь, что вы предоставляете надлежащее разрешение на доступ для Snowflake в временное хранилище Azure Blob. Дополнительные сведения об этом см. в этой статье.

Назначение

Следующие свойства поддерживаются для Snowflake на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение Snowflake из списка подключений. Если подключение не существует, создайте новое подключение Snowflake.

  • Дополнительные свойства подключения: укажите дополнительные свойства подключения, которые будут использоваться в подключении Snowflake для задания дополнительных параметров. Дополнительные свойства подключения предоставляются в виде словаря пар "ключ-значение", например Role. Дополнительные сведения см. в этой статье.

    

• База данных: база данных по умолчанию, используемая после подключения. Следует указать существующую базу данных, для которой указанная роль имеет привилегии.

• Таблица. Выберите таблицу в базе данных из раскрывающегося списка. Или проверьте раздел Редактировать, чтобы ввести имя таблицы вручную. Если целевая таблица не существует, она автоматически создается на основе исходных данных. Автоматическое создание таблицы поддерживается в версии 1.1 или более поздней. Дополнительные сведения о сопоставлении для автоматически созданных таблиц см. в разделе "Изменение целевых типов данных " и сопоставление типов данных по умолчанию для автоматически созданной таблицы Snowflake.

• Версия: укажите версию. Рекомендуется обновить до последней версии, чтобы воспользоваться новыми улучшениями. Чтобы узнать разницу между различными версиями, перейдите в этот раздел.

• Поведение записи: описывает запись данных в Snowflake. Она доступна только в версии 1.1 или более поздней. Допустимые значения: Insert (default) и Upsert.

  • Вставка: Выберите этот параметр, если в исходных данных есть вставки.
  • Upsert: вставьте новые значения в существующую таблицу и обновите существующие значения.
    • Ключевые столбцы: выберите, какой столбец используется для определения того, соответствует ли строка из источника строке из назначения. Можно указать один или несколько столбцов, которые будут рассматриваться как ключевые столбцы. Если ключевой столбец не указан, первичный ключ целевой таблицы используется в качестве ключевого столбца.

В разделе "Дополнительно" можно указать следующие поля:

• Скрипт предварительного копирования: укажите скрипт для действия копирования, который необходимо выполнить перед записью данных в целевую таблицу в каждом запуске. Это свойство можно использовать для очистки предварительно загруженных данных.

• Интеграция хранилища. Укажите имя интеграции хранилища, созданной в Snowflake. Инструкции по использованию интеграции хранилища см. в разделе "Настройка интеграции хранилища Snowflake". Интеграцию хранилища можно использовать для прямого копирования в Snowflake или поэтапного копирования в Snowflake.

• Дополнительные параметры копирования Snowflake: укажите дополнительные параметры копирования Snowflake, которые будут использоваться в инструкции Snowflake COPY для загрузки данных. Дополнительные параметры копирования предоставляются в формате словаря пар "ключ-значение". Примеры: ON_ERROR (ошибка), FORCE (принудительно), LOAD_UNCERTAIN_FILES (загрузка неопределённых файлов). Дополнительные сведения см. в разделе "Параметры копирования Snowflake".

  

• Дополнительные параметры формата Snowflake: укажите дополнительные параметры формата Snowflake, которые будут использоваться в инструкции Snowflake COPY для загрузки данных. Дополнительные параметры формата файла, предоставляемые команде COPY, предоставляются в виде словаря пар "ключ-значение". Примеры: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Дополнительные сведения см. в разделе "Параметры типа формата Snowflake".

  

Прямая загрузка данных в Snowflake

Если исходное хранилище данных и формат соответствуют критериям, описанным в этом разделе, можно использовать Copy activity для непосредственного копирования из источника в Snowflake. Служба проверяет параметры и завершает работу Copy activity, если следующие критерии не выполнены:

• При указании интеграции хранилища в назначении:

  Исходное хранилище данных — это Azure Blob Storage, которое вы указали на внешнем уровне в Snowflake. Перед копированием данных необходимо выполнить следующие действия:

  1. Создайте подключение Azure Blob Storage для исходного Azure Blob Storage с использованием любого поддерживаемого типа проверки подлинности, за исключением проверки подлинности учетной записи организации.

  2. Предоставьте, по крайней мере, роль Storage Blob Data Reader принципалу службы Snowflake в исходном Управлении доступом (IAM) Azure Blob Storage.

• Если интеграция хранилища не указана в назначении:

  Подключение источника — это хранилище Azure Blob с аутентификацией посредством подписи для общего доступа. Если вы хотите напрямую копировать данные из Azure Data Lake Storage Gen2 в следующем поддерживаемом формате, можно создать подключение Azure Blob Storage с проверкой подлинности SAS для учетной записи Azure Data Lake Storage Gen2, чтобы избежать использования staged copy to Snowflake.

• Исходный формат данных — Parquet, DelimitedText или JSON со следующими конфигурациями:

  • Для формата Parquet кодек сжатия имеет значение None или Snappy.

  • Для формата Текст с разделителями:

    • Разделитель строк — \r\n или любой одинарный символ. Если разделитель строк не "\r\n", Первая строка как заголовок не выбрана, а Количество пропускаемых строк не указано.
    • Тип сжатия может быть None, gzip, bzip2 или deflate.
    • Кодировка остается по умолчанию или установлена в "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
    • Символ кавычки — двойная кавычка, одинарный или нет символа кавычки.

  • В формате JSON прямая копия поддерживает только тот случай, когда целевая таблица Snowflake имеет только один столбец, а тип данных этого столбца — VARIANT, OBJECT или ARRAY.

    • Тип сжатия может быть None, gzip, bzip2 или deflate.
    • Кодировка остается по умолчанию или имеет значение UTF-8.
    • Сопоставление столбцов не указано.

• В источнике Copy activity:

  • Дополнительные столбцы не указаны.
  • Если источник является папкой, выбрана опция Рекурсивно.
  • Префикс, время начала (UTC) и время окончания (UTC) в фильтре после последнего изменения и включение обнаружения секций не указаны.

Этапное копирование в Snowflake

Если исходное хранилище данных или формат не совместимы с командой Snowflake COPY, как упоминалось в последнем разделе, используйте поэтапное копирование. Вы можете выбрать этапную копию рабочей среды или внешнюю этапную копию с временным экземпляром хранилища Blob Azure. Функция поэтапного копирования также обеспечивает более высокую пропускную способность. Служба автоматически преобразует данные, чтобы они соответствовали требованиям к формату данных Snowflake. Затем она вызывает команду КОПИРОВАТЬ для загрузки данных в Snowflake. Наконец, она очищает временные данные из объектного хранилища. Дополнительные сведения о поэтапном копировании см. в этой статье.

• Подготовительное копирование рабочей области

  Чтобы использовать эту функцию, перейдите на вкладку "Параметры " и выберите рабочую область в качестве промежуточного типа хранилища данных. Промежуточное хранилище — это встроенное в Fabric хранилище данных. Вам потребуется выполнить дополнительные конфигурации на основе того, указана ли интеграция хранилища в назначении:

  • При указании интеграции хранилища в месте назначения выполните следующие действия.

    1. Создайте интеграцию облачного хранилища Snowflake и задайте один из следующих URL-адресов OneLake как STORAGE_ALLOWED_LOCATIONS: azure://onelake.blob.fabric.microsoft.com/<Workspace ID>/<Pipeline/Copy job ID>/Staging или azure://onelake.blob.fabric.microsoft.com/<Workspace ID>.
    2. Чтобы получить объект-службы Snowflake, выполните первые 3 действия, описанные в разделе "Предоставление доступа Snowflake к расположениям хранилища", а затем предоставьте ему в вашей рабочей области разрешение уровня не ниже Участник.

  • Если вы не указываете интеграцию Storage в назначении, вы можете напрямую использовать встроенное промежуточное хранилище в Fabric.

• Внешняя тестовая копия

  Чтобы использовать эту функцию, создайте подключение к хранилищу BLOB-объектов Azure, которое ссылается на учетную запись хранения Azure в качестве промежуточного этапа. Затем перейдите на вкладку "Параметры" , чтобы настроить промежуточные параметры. Чтобы настроить промежуточное подключение Azure Blob Storage, необходимо выбрать External.

  • При указании интеграции Storage временное промежуточное хранение Azure Blob Storage должно быть тем, которое вы указали на внешней стадии в Snowflake. Убедитесь, что вы создаете подключение к Azure Blob Storage с любой поддерживаемой проверкой подлинности, кроме проверки подлинности учетной записи организации, и предоставьте по крайней мере роль Storage Blob Data Reader роли службы Snowflake в промежуточной Access Control (IAM) Azure Blob Storage. Путь к хранилищу в промежуточных параметрах на вкладке "Параметры" является обязательным.

  • Если в назначении не указана интеграция хранилища, промежуточное подключение Azure Blob Storage должно использовать аутентификацию с использованием общей подписи доступа, как того требует команда Snowflake COPY.

Картирование

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления.

Изменение типов данных назначения

Для конфигурации вкладки "Сопоставление", при использовании Snowflake в качестве конечного пункта и при автоматическом создании целевой таблицы, за исключением конфигурации в "Сопоставление", можно изменить тип столбцов целевой таблицы. После выбора схемы импорта можно указать тип столбца в назначении. Дополнительные сведения о правилах сопоставления см. в описании сопоставления типов данных для Snowflake.

Например, можно задать тип десятичного столбца на NUMBER и настроить его точность и масштаб по мере необходимости при сопоставлении его с назначением.

Параметры

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сопоставление типов данных для Snowflake

При копировании данных из Snowflake применяются следующие сопоставления типов данных Snowflake на промежуточные типы данных, используемые службой.

При копировании данных в Snowflake следующие сопоставления используются из промежуточных типов данных, используемых службой внутренне для типов данных Snowflake.

Сведения о том, как действие копирования сопоставляет исходную схему и тип данных с назначением, см. в разделе "Сопоставление схем и типов данных".

Сопоставление типов данных по умолчанию для автоматически созданной таблицы Snowflake

В следующей таблице описаны сопоставления по умолчанию из временных типов данных, используемых службой, для типов данных Snowflake, когда целевая таблица создается автоматически.

Различия между версиями Snowflake

В таблице ниже показаны различия функций между различными версиями.

Сводка таблицы

В следующих таблицах содержатся подробные сведения об операции копирования в Snowflake.

Источник

Назначение

Связанный контент

• Обзор соединителя Snowflake