Подготовка среды выполнения интеграции Azure–SSIS в Фабрике данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этом руководстве описаны шаги по использованию портала Azure для подготовки среды выполнения интеграции Azure SQL Server Integration Services (SSIS) в Фабрике данных Azure (ADF). Среда выполнения интеграции Azure-SSIS поддерживает следующие возможности:

• выполнение пакетов, развернутых в каталоге SSIS (SSISDB), которые размещаются на сервере Базы данных SQL Azure или в Управляемом экземпляре (модель развертывания для проектов);
• Выполнение пакетов, развернутых в файловой системе, службе Azure Files или базе данных SQL Server (MSDB), размещенных в SQL Managed Instance в Azure (модель развертывания пакетов).

После создания Azure-SSIS IR вы можете использовать привычные инструменты для развертывания и запуска пакетов в Azure. уже поддерживающие Azure, например SQL Server Data Tools (SSDT), SQL Server Management Studio (SSMS) или служебные программы командной строки, такие как dtutil и AzureDTExec.

Для получения концептуальной информации о средах выполнения интеграции Azure-SSIS обратитесь к обзору среды выполнения интеграции Azure-SSIS.

В этом руководстве выполняются следующие шаги:

Предварительные требования

• Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

• Сервер Базы данных SQL Azure (необязательно). Если у вас еще нет сервера базы данных, создайте его на портале Azure перед началом работы. Фабрика данных, в свою очередь, создаст экземпляр SSISDB на этом сервере базы данных.

  Мы рекомендуем создать сервер базы данных в одном регионе Azure со средой интеграции. Эта конфигурация позволяет среде выполнения интеграции записывать журналы выполнения в SSISDB, не пересекая регионы Azure.

  Помните следующее:

  • В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.

    Если вы используете сервер Azure SQL Database с правилами брандмауэра IP-адресов и конечными точками служб виртуальной сети или управляемый экземпляр с приватной конечной точкой для размещения SSISDB, или если вам требуется доступ к локальным данным без настройки автономной среды выполнения интеграции, вам необходимо подключить среду выполнения интеграции Azure-SSIS к виртуальной сети. Для получения дополнительной информации см. Создание среды выполнения интеграции Azure SSIS в виртуальной сети.

  • Убедитесь, что для сервера базы данных включен параметр Разрешить доступ к службам Azure. Этот параметр не применяется, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб для виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения базы данных SSISDB. Дополнительные сведения см. в разделе Безопасность базы данных Azure SQL. Сведения о включении этого параметра с помощью PowerShell см. в статье New-AzSqlServerFirewallRule.

  • Добавьте IP-адрес клиентского компьютера или диапазон IP-адресов, который включает IP-адрес клиентского компьютера, в список IP-адресов клиента в параметрах брандмауэра для сервера базы данных. Дополнительные сведения см. в разделе Правила брандмауэра уровня сервера Базы данных SQL Azure и уровня базы данных SQL Azure.

  • Вы можете подключиться к серверу базы данных с помощью аутентификации SQL с учетными данными администратора или с помощью аутентификации Microsoft Entra с указанным управляемым удостоверением, назначенным системой или пользователем для фабрики данных. Для последнего случая необходимо добавить управляемое удостоверение, назначенное системой или пользователем, для вашей фабрики данных в группу Microsoft Entra с разрешениями на доступ к серверу базы данных. Дополнительные сведения см. в статье Создание Azure-SSIS IR с проверкой подлинности Microsoft Entra.

  • Убедитесь, что на сервере базы данных еще нет экземпляра SSISDB. При подготовке Azure-SSIS IR не поддерживается использование существующего экземпляра SSISDB.

Создание фабрики данных

Чтобы создать фабрику данных с помощью портала Azure, следуйте пошаговым инструкциям. После создания выберите действие Закрепить на панели мониторинга, чтобы организовать быстрый доступ к ней.

Создав фабрику данных, откройте страницу сводных сведений о ней на портале Azure. Щелкните плитку Open Azure Data Factory Studio, чтобы открыть страницу Let's get started на отдельной вкладке. Там вы можете продолжить создание среды выполнения интеграции Azure-SSIS.

Создание среды выполнения интеграции Azure SSIS.

Обзор Data Factory

1. На домашней странице выберите плитку Настройка служб SSIS.

   

2. Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.

Пользовательский интерфейс разработки

1. В пользовательском интерфейсе Фабрики данных Azure перейдите на вкладку Управление и на вкладку Среды выполнения интеграции, чтобы просмотреть все имеющиеся в фабрике данных среды выполнения интеграции.

   

2. Выберите Создать, чтобы создать Azure-SSIS IR и открыть панель Настройка среды выполнения интеграции.

   

3. В области Integration runtime setup выберите плитку Lift-and-shift existing SSIS packages to execute in Azure (Перенос имеющихся пакетов служб SSIS по методике lift-and-shift для выполнения в Azure), а затем нажмите Продолжить.

   

4. Остальные шаги описаны в разделе Подготовка среды выполнения интеграции Azure SSIS.

Подготовка среды выполнения интеграции Azure SSIS

Область Настройка среды выполнения интеграции содержит три страницы, на которых можно последовательно настроить общие параметры, параметры развертывания и дополнительные параметры.

Страница "Общие параметры"

На странице Общие параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В поле Имя введите имя среды выполнения интеграции.

2. В поле Описание введите описание среды выполнения интеграции.

3. В поле Расположение введите расположение среды выполнения интеграции. Здесь отображаются только поддерживаемые локации. Рекомендуется выбирать такое же расположение для хранилища SSISDB, как у вашего сервера базы данных.

4. В раскрывающемся списке Размер узла выберите размер узла кластера среды выполнения интеграции. Отображаются только поддерживаемые размеры узла. Если вы планируете использовать пакеты с высокими требованиями к количеству компьютеров или объему памяти, выберите большой размер узла (увеличение масштаба).

5. В поле Номер узла введите количество узлов в кластере среды выполнения интеграции. Отображается только поддерживаемое число узлов. Если нужно запускать многие пакеты параллельно, выберите большой кластер с большим числом узлов (масштабирование).

6. Для выпуска или лицензии выберите выпуск SQL Server для среды выполнения интеграции: Standard или Enterprise. Если в среде выполнения интеграции вы будете использовать расширенные функции, выберите SQL Server Enterprise.

7. Для сохранения денег выберите параметр Преимущество гибридного использования Azure для среды выполнения интеграции: да или нет. Если для экономии вы намерены использовать гибридный режим с собственной лицензией SQL Server по программе Software Assurance, выберите Да.

8. Выберите Продолжить.

Страница "Параметры развертывания"

В области настройки среды выполнения интеграции на странице Параметры развертывания доступны параметры создания SSISDB и (или) хранилищ пакетов Azure-SSIS IR.

Создание SSISDB

На странице параметров развертывания панели настройки среды выполнения интеграции установите флажок "Создать каталог служб SSIS (SSISDB), размещенный на сервере базы данных SQL Azure/Управляемом экземпляре, для хранения ваших проектов/пакетов/сред/журналов выполнения в следующих сценариях:

• Модель развертывания проекта. Вы развертываете пакеты в SSISDB.

• Независимо от модели развертывания, используйте агент SQL Server, размещённый в управляемом экземпляре Azure SQL, для оркестрации и планирования выполнения ваших пакетов.

  Дополнительные сведения см. в статье о планировании выполнения пакетов SSIS с помощью агента Управляемого экземпляра SQL Azure.

В приведенном ниже сценарии не требуется создавать SSISDB и не выбирать флажок:

• Модель развертывания пакетов, а не использование агента SQL Server, размещенного на Управляемом экземпляре SQL Azure для оркестрации или планирования выполнения пакетов.

  Вы развертываете пакеты в файловой системе, Azure Files или базе данных SQL Server (MSDB), размещенной в управляемом экземпляре Azure SQL (модель развертывания пакетов), и используете конвейер Data Factory для оркестрации или планирования выполнения пакетов.

Если этот флажок установлен, выполните приведенные ниже инструкции, чтобы предоставить собственный сервер базы данных для размещения базы данных SSISDB, которую мы создадим и которой будем управлять от вашего имени.

1. Для Подписка выберите подписку Azure, в которой ваш сервер базы данных размещает SSISDB.

2. В списке Расположение выберите расположение вашего сервера базы данных для размещения SSISDB. Рекомендуется выбирать то же самое расположение для вашей среды выполнения интеграции.

3. Для Catalog Database Server Endpoint (Конечная точка сервера базы данных каталога) выберите конечную точку вашего сервера базы данных для размещения SSISDB.

   В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.

   Если выбран сервер Базы данных SQL Azure с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. Для получения дополнительной информации см. Создание среды выполнения интеграции Azure SSIS в виртуальной сети.

4. Выберите флажок "Использовать проверку подлинности Microsoft Entra с управляемым удостоверением системы для Data Factory" или "Использовать проверку подлинности Microsoft Entra с управляемым удостоверением, назначенным пользователем для Data Factory", чтобы выбрать метод проверки подлинности Microsoft Entra для Azure-SSIS IR, чтобы получить доступ к серверу базы данных, где размещен SSISDB. Не устанавливайте эти флажки, чтобы выбрать способ проверки подлинности SQL.

   При выборе любого из флажков необходимо добавить указанное управляемое удостоверение, назначаемое системой или пользователем, в группу Microsoft Entra с разрешениями на доступ к серверу базы данных. Если выбрать флажок Использовать проверку подлинности Microsoft Entra с управляемым удостоверением, назначенным пользователем для Data Factory, можно выбрать любые существующие учетные данные, созданные с помощью указанных управляемых удостоверений, назначенных пользователем, или создать новые. Дополнительные сведения см. в статье Создание Azure-SSIS IR с проверкой подлинности Microsoft Entra.

5. В поле Имя администратора введите имя пользователя SQL для проверки подлинности сервера базы данных, на котором размещается SSISDB.

6. В поле Пароль администратора введите пароль проверки подлинности SQL для сервера базы данных, на котором размещается SSISDB.

7. Установите флажок Использовать двойную резервную пару Azure-SSIS Integration Runtime с отработкой отказа SSISDB, чтобы настроить двойную резервную пару Azure-SSIS Integration Runtime, которая работает синхронно с группой отработки отказа Базы данных SQL Azure или Управляемого экземпляра для обеспечения непрерывности бизнес-процессов и аварийного восстановления.

   Если вы выберете этот флажок, введите имя для идентификации своей пары основной и вспомогательной сред интеграции Azure-SSIS IR в текстовом поле Имя двойной резервной пары. При создании основной и дополнительной сред Azure-SSIS IR вам нужно ввести одно и то же имя пары.

   Дополнительные сведения см. в статье Настройка среды Azure-SSIS IR для BCDR.

8. В поле Каталог уровней служб базы данных выберите уровень служб для сервера базы данных, на котором будет размещаться SSISDB. Выберите уровень "Базовый", "Стандартный" или "Премиум", либо выберите имя эластичного пула.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Создание хранилищ пакетов Azure-SSIS IR

В разделе Параметры развертывания на странице Настройки среды выполнения интеграции, чтобы управлять пакетами, развернутыми в MSDB, файловой системе или службе "Файлы Azure" (модель развертывания для пакетов) с использованием хранилищ пакетов Azure-SSIS IR, установите флажок Создать хранилища пакетов для управления пакетами, развернутыми в файловой системе, службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре Azure SQL.

Хранилище пакетов Azure-SSIS IR позволяет импортировать, экспортировать, удалять и запускать пакеты, а также отслеживать пакеты и прекращать их выполнение с помощью SSMS, как и прежнее хранилище пакетов SSIS. Дополнительные сведения см. в статье Управление пакетами SSIS с помощью хранилищ пакетов Azure-SSIS IR.

Если этот флажок установлен, можно добавить несколько хранилищ пакетов в Azure-SSIS IR, выбрав Создать. И наоборот, одно хранилище пакетов может совместно использоваться несколькими Azure-SSIS IR.

На панели Добавление хранилища данных выполните описанные ниже действия.

1. В поле Имя хранилища пакетов введите имя своего хранилища пакетов.

2. Для параметра Связанная служба хранилища пакетов выберите имеющуюся связанную службу, в которой хранятся сведения о доступе к файловой системе, службе "Файлы Azure" и Управляемому экземпляру Azure SQL, где развернуты ваши пакеты, или создайте новую, выбрав Создать. На панели Новая связанная служба выполните описанные ниже действия.

   Примечание.

   Для доступа к Файлам Azure можно использовать связанные службы хранилища файлов Azure или файловой системы. Если вы используете связанную службу хранилища файлов Azure, хранилище пакетов Azure-SSIS IR будет поддерживать только базовый способ проверки подлинности (не ключ учетной записи и не URI SAS).

   

   1. В поле Имя введите имя своей связанной службы.

   2. В поле Описание введите описание связанной службы.

   3. Для параметра Тип выберите Файловое хранилище Azure, Управляемый экземпляр SQL Azure или Файловая система.

   4. Можете пропустить Подключаться с помощью среды выполнения интеграции, так как мы всегда используем вашу среду Azure-SSIS IR для получения сведений о доступе для хранилищ пакетов.

   5. Если вы выбрали вариант Хранилище файлов Azure, то для параметра Способ проверки подлинности выберите значение Базовая, а затем выполните указанные ниже шаги.

      1. Для параметра Метод выбора учетных записей выберите Из подписки Azure или Вводить вручную.

      2. Если вы выбрали Из подписки Azure, выберите соответствующие значения в полях Подписка Azure, Имя учетной записи хранилища и Общая папка.

      3. Если вы выберете Вводить вручную, введите \\<storage account name>.file.core.windows.net\<file share name> для Хост, Azure\<storage account name> для Имя пользователя и <storage account key> для Пароль или выберите Azure Key Vault, где он хранится как секрет.

   6. Если вы выбрали Управляемый экземпляр SQL Azure, выполните описанные ниже действия.

      1. Выберите строку подключения или Azure Key Vault, где она хранится в виде секрета.

      2. При выборе Строка подключения выполните описанные ниже действия.

         1. Если вы выбрали вариант From Azure subscription (Из подписки Azure) в разделе Account selection method (Метод выбора учетных записей), задайте соответствующие значения Подписка Azure, Имя сервера, Тип конечной точки и Имя базы данных. Если вы выбрали Enter manually (Вводить вручную), выполните приведенные ниже шаги.

            1. Для параметра Полное доменное имя введите <server name>.<dns prefix>.database.windows.net или <server name>.public.<dns prefix>.database.windows.net,3342 в качестве частной или общедоступной конечной точки вашего Управляемого экземпляра SQL Azure соответственно. Если ввести частную конечную точку, параметр Тестировать подключение будет неприменим, так как пользовательский интерфейс ADF не может связаться с ним.

            2. В поле Имя базы данных введите msdb.

         2. В поле Тип проверки подлинности выберите Проверка подлинности SQL, Управляемое удостоверение, Субъект-служба или Управляемое удостоверение, назначаемое пользователем.

            • Если вы выбрали Проверка подлинности SQL, введите соответствующие значения в поля Имя пользователя и Пароль или выберите ваш Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, предоставьте системно управляемому удостоверению для вашего ADF доступ к Управляемому экземпляру SQL Azure.

            • Если вы выбрали Субъект-служба, введите соответствующие значения в поля Идентификатор субъекта-службы и Ключ субъект-службы или выберите свой Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, назначаемое пользователем, предоставьте своему управляемому удостоверению ADF, назначаемому пользователем, доступ к Управляемому экземпляру SQL Azure. Затем можно выбрать любые существующие учетные данные, созданные с помощью управляемых удостоверений, назначаемых пользователем, или создать новые.

   7. Если вы выбрали Файловая система, в поле Узел введите UNC-путь папки, в которую развернуты ваши пакеты, а также введите соответствующие значения в полях Имя пользователя и Пароль или выберите свой Azure Key Vault, где он хранится в секретности.

   8. Если применимо, выберите Тестировать подключение, и если результат будет успешным, выберите Создать.

3. Добавленные хранилища пакетов будут отображаться на странице Параметры развертывания. Чтобы удалить их, установите соответствующие флажки, а затем выберите Удалить.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Страница "Дополнительные параметры"

На странице Расширенные параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В раскрывающемся списке Максимальное количество параллельных выполнений на каждом узле выберите максимальное количество пакетов, которые будут выполняться одновременно на одном узле кластера интегрированной среды выполнения. Отображается только поддерживаемое число пакетов. Если возникла необходимость использовать больше одного ядра для запуска большого пакета с высокими требованиями к вычислительным ресурсам или памяти, выберите меньшее число. Более высокое число позволит запустить несколько небольших пакетов на одном ядре.

2. Установите флажок Дополнительно настроить среду выполнения Azure-SSIS с помощью дополнительных системных конфигураций / установки компонентов (Customize your Azure-SSIS Integration Runtime with additional system configurations/component installations), чтобы выбрать, хотите ли вы добавить стандартные/экспресс-пользовательские настройки на ваш Azure-SSIS IR. Для получения дополнительной информации, смотрите пользовательскую настройку для среды выполнения интеграции Azure-SSIS.

3. Установите флажок «Выбрать VNet для вашего Azure-SSIS Integration Runtime, чтобы присоединиться, разрешить ADF создавать определённые сетевые ресурсы и, при необходимости, предоставить свои собственные статические общедоступные IP-адреса», чтобы выбрать, хотите ли вы присоединить ваш Azure-SSIS IR к виртуальной сети.

   Его следует установить, если сервер Базы данных SQL Azure используется с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции. Для получения дополнительной информации см. Создание среды выполнения интеграции Azure SSIS в виртуальной сети.

4. Установите флажок Set up Self-Hosted Integration Runtime as a proxy for your Azure-SSIS Integration Runtime (Настроить локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS Integration Runtime), если вы хотите использовать локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS IR. См. подробнее о настройке автономной среды выполнения интеграции в качестве прокси-сервера.

5. Выберите Продолжить.

На странице Сводка области Настройка среды выполнения интеграции проверьте все параметры подготовки, добавьте в закладки рекомендуемые ссылки на документацию и выберите Создать, чтобы запустить создание среды для выполнения интеграции.

Панель "Подключения"

На панели Подключения центра Управление перейдите на страницу Среды выполнения интеграции и выберите Обновить.

Вы можете изменить или перенастроить свою Azure-SSIS IR, выбрав ее имя. С помощью соответствующих кнопок можно мониторить, запускать, останавливать или удалять ваш Azure-SSIS IR, автоматически генерировать конвейер ADF с активностью "Выполнение пакета SSIS" для работы на вашем Azure-SSIS IR, а также просматривать код и данные JSON вашего Azure-SSIS IR. Изменить или удалить Azure-SSIS IR можно только после его остановки.

Развертывание пакетов служб SSIS.

Если вы используете SSISDB, можете развернуть в нее свои пакеты и запустить их в Azure-SSIS IR с помощью средств SSDT или SSMS с поддержкой Azure. Эти средства подключаются к серверу базы данных через конечную точку сервера.

• Для сервера Базы данных SQL Azure используется формат конечной точки <server name>.database.windows.net.
• Для управляемого экземпляра с частной конечной точкой формат сервера — <server name>.<dns prefix>.database.windows.net.
• Для управляемого экземпляра с общедоступной конечной точкой формат сервера - <server name>.public.<dns prefix>.database.windows.net,3342.

Если вы не используете SSISDB, вы можете развертывать пакеты в файловой системе, службе "Файлы Azure" или базе данных MSDB, размещенной в Управляемом экземпляре SQL Azure, и запускать их в Azure-SSIS IR с помощью программ командной строки dtutil и AzureDTExec.

Дополнительные сведения см. в статье Развертывание проектов и пакетов служб Integration Services (SSIS).

В обоих случаях вы также можете запустить развернутые пакеты в Azure-SSIS IR, используя действие "Execute SSIS Package" в конвейерах Фабрики данных. См. сведения о запуске выполнения пакета SSIS как первоклассного действия Фабрики данных.

Ознакомьтесь также со следующей документацией по SSIS:

• Развертывание, запуск и мониторинг пакетов служб SQL Server Integration Services (SSIS) в Azure
• Подключитесь к базе данных SSISDB в Azure
• Планирование выполнения пакетов в Azure
• Connect to on-premises data sources with Windows Authentication (Подключение к локальным источникам данных с помощью аутентификации Windows)

Связанный контент

Дополнительные сведения о настройке Azure-SSIS Integration Runtime см. в следующей статье: