Создайте среду выполнения Azure-SSIS с помощью портала Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье показано, как создать среду выполнения интеграции (IR) Azure SQL Server Integration Services (SSIS) в Фабрике данных Azure (ADF) или Synapse Pipelines с помощью портала Azure.

Подготовка среды выполнения интеграции Azure SSIS

Страница "Общие параметры"

На странице Общие параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В поле Имя введите имя среды выполнения интеграции.

2. В поле Описание введите описание среды выполнения интеграции.

3. В поле Расположение введите расположение среды выполнения интеграции. Здесь отображаются только поддерживаемые расположения. Для размещения SSISDB рекомендуется выбрать то же самое расположение, что и для сервера базы данных.

4. В раскрывающемся списке Размер узла выберите размер узла для кластера среды выполнения интеграции. Отображаются только поддерживаемые размеры узла. Если вы планируете использовать пакеты с высокими требованиями к количеству компьютеров или объему памяти, выберите большой размер узла (увеличение масштаба).

   Примечание.

   Если требуется изоляция вычислительных ресурсов, выберите размер узла Standard_E64i_v3. Размер данного узла представляет собой изолированные виртуальные машины, полностью использующие соответствующий физический узел и обеспечивающие необходимый уровень изоляции, требуемый для определенных рабочих нагрузок, таких как рабочие нагрузки с уровнем влияния 5 Министерства обороны США.

5. В поле Номер узла введите количество узлов в кластере среды выполнения интеграции. Отображается только поддерживаемое число узлов. Если нужно запускать несколько пакетов в параллельном режиме, выберите крупный кластер с большим числом узлов (масштабируемый).

6. Для выпуска или лицензии выберите выпуск SQL Server для среды выполнения интеграции: Standard или Enterprise. Если в среде выполнения интеграции вы будете использовать расширенные функции, выберите SQL Server Enterprise.

7. Для сохранения денег выберите параметр Преимущество гибридного использования Azure для среды выполнения интеграции: да или нет. Если для экономии вы намерены использовать гибридный режим с собственной лицензией SQL Server по программе Software Assurance, выберите Да.

8. Выберите Продолжить.

Страница "Параметры развертывания"

В области настройки среды выполнения интеграции на странице Параметры развертывания доступны параметры создания SSISDB и (или) хранилищ пакетов Azure-SSIS IR.

Создание SSISDB

На странице Параметры развертывания области настройки среды выполнения интеграции, если вы хотите развернуть свои пакеты в SSISDB (модель развертывания для проектов), выберите флажок Создать каталог SSIS (SSISDB), размещенный на сервере базы данных SQL Azure или в Управляемом экземпляре, чтобы сохранять проекты, пакеты, среды и журналы выполнения. Если нужно развернуть пакеты в файловой системе, в службе "Файлы Azure" или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре SQL Azure (модель развертывания пакетов), нет необходимости создавать SSISDB или устанавливать этот флажок.

Какой бы ни была модель развертывания, если вы хотите выбрать, следует ли использовать агент SQL Server, размещенный в Управляемом экземпляре SQL Azure, для координации или планирования выполнения пакетов (эта возможность активируется SSISDB), этот флажок следует установить. Дополнительные сведения см. в статье о планировании выполнения пакетов SSIS с помощью агента Управляемого экземпляра SQL Azure.

Если этот флажок установлен, выполните приведенные ниже инструкции, чтобы предоставить собственный сервер базы данных для размещения базы данных SSISDB, которую мы создадим и которой будем управлять от вашего имени.

1. Для Подписка выберите подписку Azure, которая содержит ваш сервер базы данных для размещения SSISDB.

2. Для Расположение выберите местоположение сервера вашей базы данных для размещения SSISDB. Рекомендуется выбрать то же расположение интеграционной среды выполнения.

3. Для Catalog Database Server Endpoint (Конечная точка сервера базы данных каталога) выберите конечную точку сервера базы данных для размещения SSISDB.

   В зависимости от выбранного сервера базы данных экземпляр SSISDB может быть создан от вашего имени как отдельная база данных, как часть эластичного пула или в виде управляемого экземпляра. Доступ к нему можно получить через общедоступную сеть или после присоединения к виртуальной сети. Инструкции по выбору типа сервера базы данных для размещения SSISDB см. в разделе Сравнение Базы данных SQL и Управляемого экземпляра SQL.

   Если выбран сервер Базы данных SQL Azure с правилами брандмауэра для IP-адресов или конечными точками служб в виртуальной сети или с управляемым экземпляром и частной конечной точкой для размещения SSISDB, или вам нужен доступ к локальным данным без настройки локальной среды выполнения интеграции, необходимо присоединить среду выполнения интеграции Azure-SSIS к виртуальной сети. См. сведения о присоединении Azure-SSIS IR к виртуальной сети.

4. Выберите флажок Использовать аутентификацию Microsoft Entra с системным управляемым удостоверением для Data Factory или Использовать аутентификацию Microsoft Entra с управляемым удостоверением, назначенным пользователем, для Data Factory, чтобы выбрать метод аутентификации Microsoft Entra для Azure-SSIS IR для доступа к серверу базы данных, на котором размещен SSISDB. Не выбирайте ни один из флажков, чтобы вместо этого выбрать метод аутентификации SQL.

   При выборе любого из флажков необходимо добавить указанное управляемое удостоверение, назначаемое системой или пользователем, в группу Microsoft Entra с разрешениями на доступ к серверу базы данных. Если выбрать флажок Использовать аутентификацию Microsoft Entra с управляемым удостоверением, назначаемым пользователем, для Data Factory, вы можете выбрать любые существующие учетные данные, созданные с использованием назначенных пользователем управляемых удостоверений, или создать новые. Дополнительные сведения см. в статье "Включение проверки подлинности Microsoft Entra" для azure-SSIS IR.

5. В поле Имя администратора введите имя пользователя SQL для проверки подлинности сервера базы данных, на котором размещается SSISDB.

6. В поле Пароль администратора введите пароль проверки подлинности SQL для сервера базы данных, на котором размещается SSISDB.

7. Установите флажок Использовать двойную резервную пару Azure-SSIS Integration Runtime с отработкой отказа SSISDB, чтобы настроить двойную резервную пару Azure-SSIS Integration Runtime, которая работает синхронно с группой отработки отказа Базы данных SQL Azure или Управляемого экземпляра для обеспечения непрерывности бизнес-процессов и аварийного восстановления.

   Если вы установили этот флажок, введите имя для идентификации вашей пары первичной и вторичной сред Azure-SSIS IR в текстовом поле Имя двойной резервной пары. При создании основной и дополнительной сред Azure-SSIS IR вам нужно ввести одно и то же имя пары.

   Дополнительные сведения см. в статье Настройка среды Azure-SSIS IR для обеспечения непрерывности бизнеса и восстановления после аварий.

8. В поле Каталог уровней служб базы данных выберите уровень служб для сервера базы данных, на котором будет размещаться SSISDB. Можно выбрать уровень "Базовый", "Стандартный", "Премиум" или имя эластичного пула.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Создание хранилищ пакетов Azure-SSIS IR

На странице Параметры развертывания области Настройка среды выполнения интеграции, если вы хотите управлять вашими пакетами, которые развернуты в MSDB, файловой системе или службе Файлы Azure (модель развертывания пакета) с использованием хранилищ пакетов Azure-SSIS IR, установите флажок Создать хранилища пакетов для управления вашими пакетами, развернутыми в файловой системе/Файлы Azure/базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре Azure SQL.

Хранилище пакетов Azure-SSIS IR позволяет импортировать, экспортировать, удалять и запускать пакеты, а также отслеживать пакеты и прекращать их выполнение с помощью SSMS, как и прежнее хранилище пакетов SSIS. Дополнительные сведения см. в статье Управление пакетами SSIS с помощью хранилищ пакетов Azure-SSIS IR.

Если этот флажок установлен, можно добавить несколько хранилищ пакетов в Azure-SSIS IR, выбрав Создать. И наоборот, одно хранилище пакетов может совместно использоваться несколькими Azure-SSIS IR'ами.

На панели Добавление хранилища данных выполните описанные ниже действия.

1. В поле Имя хранилища пакетов введите имя своего хранилища пакетов.

2. Для параметра Связанная служба хранилища пакетов выберите имеющуюся связанную службу, в которой хранятся сведения о доступе к файловой системе, службе "Файлы Azure" и Управляемому экземпляру Azure SQL, где развернуты ваши пакеты, или создайте новую, выбрав Создать. На панели Новая связанная служба выполните описанные ниже действия.

   Примечание.

   Для доступа к Файлам Azure можно использовать связанные службы хранилища файлов Azure или файловой системы. Если вы используете связанную службу хранилища файлов Azure, хранилище пакетов Azure-SSIS IR будет поддерживать только базовый способ проверки подлинности (не ключ учетной записи и не URI SAS).

   

   1. В поле Имя введите имя своей связанной службы.

   2. В поле Описание введите описание связанной службы.

   3. Для параметра Тип выберите Файловое хранилище Azure, Управляемый экземпляр SQL Azure или Файловая система.

   4. Вы можете проигнорировать Подключение через среду выполнения интеграции, так как мы всегда используем вашу среду Azure-SSIS IR для получения сведений о доступе к хранилищам пакетов.

   5. Если вы выбрали вариант Хранилище файлов Azure, то для параметра Способ проверки подлинности выберите значение Базовая, а затем выполните указанные ниже шаги.

      1. Для параметра Метод выбора учетных записей выберите Из подписки Azure или Вводить вручную.

      2. Если вы выбрали Из подписки Azure, выберите соответствующие значения в полях Подписка Azure, Имя учетной записи хранилища и Общая папка.

      3. Если вы выбрали Вводить вручную, введите \\<storage account name>.file.core.windows.net\<file share name> для Узел, Azure\<storage account name> для Имя пользователя и <storage account key> для Пароль или выберите Azure Key Vault, где они хранятся как секреты.

   6. Если вы выбрали Управляемый экземпляр SQL Azure, выполните описанные ниже действия.

      1. Выберите эту строку подключения или свое хранилище Azure Key Vault, где она хранится в качестве секрета.

      2. При выборе Строка подключения выполните описанные ниже действия.

         1. Если вы выбрали вариант From Azure subscription (Из подписки Azure) в разделе Account selection method (Метод выбора учетных записей), задайте соответствующие значения Подписка Azure, Имя сервера, Тип конечной точки и Имя базы данных. Если вы выбрали Enter manually (Вводить вручную), выполните приведенные ниже шаги.

            1. Для параметра Полное доменное имя введите <server name>.<dns prefix>.database.windows.net или <server name>.public.<dns prefix>.database.windows.net,3342 в качестве частной или общедоступной конечной точки вашего Управляемого экземпляра SQL Azure соответственно. Если ввести частную конечную точку, параметр Тестировать подключение будет неприменим, так как пользовательский интерфейс ADF не может связаться с ним.

            2. В поле Имя базы данных введите msdb.

         2. В поле Тип проверки подлинности выберите Проверка подлинности SQL, Управляемое удостоверение, Субъект-служба или Управляемое удостоверение, назначаемое пользователем.

            • Если вы выбрали Проверка подлинности SQL, введите соответствующие значения в поля Имя пользователя и Пароль или выберите ваш Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, предоставьте своему управляемому удостоверению ADF, назначаемому системой, доступ к Управляемому экземпляру SQL Azure.

            • Если вы выбрали Субъект-служба, введите соответствующие значения в поля Идентификатор субъекта-службы и Ключ субъект-службы или выберите свой Azure Key Vault, где он хранится в секретности.

            • Если вы выбрали Управляемое удостоверение, назначаемое пользователем, предоставьте назначенному пользователем управляемому удостоверению для вашего ADF доступ к Управляемому экземпляру SQL Azure. Затем можно выбрать любые существующие учетные данные, созданные с помощью управляемых удостоверений, назначаемых пользователем, или создать новые.

   7. Если вы выбрали Файловая система, введите в поле Узел UNC-путь к папке, в которую развернуты ваши пакеты, а также введите соответствующие Имя пользователя и Пароль или выберите свой Azure Key Vault, где этот секрет хранится.

   8. Если применимо, выберите Тестировать подключение, и если результат будет успешным, выберите Создать.

3. Добавленные хранилища пакетов будут отображаться на странице Параметры развертывания. Чтобы удалить их, установите соответствующие флажки, а затем выберите Удалить.

Выберите Проверить подключение, если это применимо, и в случае успеха нажмите Продолжить.

Страница "Дополнительные параметры"

На странице Расширенные параметры на панели Настройка среды выполнения интеграции выполните описанные ниже действия.

1. В раскрывающемся списке Максимальное количество параллельных выполнений на каждом узле выберите максимальное количество пакетов, которые будут выполняться одновременно на одном узле кластера интегрированной среды выполнения. Отображается только поддерживаемое число пакетов. Если возникла необходимость использовать больше одного ядра для запуска большого пакета с высокими требованиями к вычислительным ресурсам или памяти, выберите меньшее число. Более высокое число позволит запустить несколько небольших пакетов на одном ядре.

2. Установите флажок Customize your Azure-SSIS Integration Runtime with additional system configurations/component installations (Настроить Azure-SSIS Integration Runtime с дополнительными системными конфигурациями/установкой компонентов), чтобы выбрать, хотите ли вы добавить стандартные или облегченные пользовательские настройки для Azure-SSIS IR. См. настройку среды выполнения Azure-SSIS для получения дополнительной информации.

   Если вы установите флажок, выполните указанные ниже действия.

   

   1. В поле Custom setup container SAS URI (URI SAS контейнера пользовательской установки) введите URI SAS контейнера, в котором хранятся сценарии и связанные файлы для стандартных пользовательских установок.

   2. В разделе Express custom setup (Быстрая пользовательская установка) нажмите Создать, чтобы открыть панель Add express custom setup (Добавить быструю пользовательскую установку), а затем в раскрывающемся меню Express custom setup type (Тип быстрой пользовательской установки) выберите любые типы, например Run cmdkey command (Выполнение команды cmdkey), Add environment variable (Добавление переменной среды), Install licensed component (Установка лицензионного компонента) и т. д.

      Если выбран тип Install licensed component, можно выбрать любые интегрированные компоненты, предлагаемые нашими партнерами — независимыми поставщиками программного обеспечения, в раскрывающемся меню Имя компонента. При необходимости введите лицензионный ключ или передайте файл лицензии продукта, приобретенного у поставщика, в поле License key/License file (Лицензионный ключ или файл лицензии).

      Добавленные экспресс-пользовательские настройки отобразятся на странице Дополнительные параметры. Чтобы удалить их, установите соответствующие флажки, а затем нажмите Удалить.

3. Установите флажок Выберите виртуальную сеть для Azure-SSIS Integration Runtime, позвольте Azure Data Factory создать определенные сетевые ресурсы и, при необходимости, предоставьте свои собственные статические общедоступные IP-адреса, чтобы выбрать, хотите ли вы подключить ваш Azure-SSIS IR к виртуальной сети.

   Его следует установить, если для размещения SSISDB используется сервер Базы данных SQL Azure с конечной точкой службы для виртуальной сети/правилом брандмауэра для IP-адресов/частной конечной точкой либо управляемый экземпляр Azure SQL с подключением к виртуальной сети, а также если вам нужен доступ к локальным данным (т. е. в пакетах SSIS есть локальные источники данных или цели) без настройки локальной среды IR. См. сведения о присоединении Azure-SSIS IR к виртуальной сети.

   Если вы установите флажок, выполните указанные ниже действия.

   

   1. В поле Подписка выберите подписку Azure, в которой расположена виртуальная сеть.

   2. В поле Расположение введите то же расположение среды выполнения интеграции.

   3. В поле Тип укажите тип виртуальной сети: виртуальная сеть Azure Resource Manager или классическая виртуальная сеть. Рекомендуется выбрать виртуальную сеть Azure Resource Manager, так как поддержка классических виртуальных сетей скоро будет прекращена.

   4. В поле Имя виртуальной сети выберите имя вашей виртуальной сети. Он должен совпадать с той, которая использовалась для конфигурации виртуальной конечной точки службы/частной конечной точки для сервера База данных SQL Azure, на котором размещается SSISDB. Это должна быть та же сеть, к которой присоединен ваш Управляемый экземпляр SQL Azure, в котором размещается SSISDB. Как вариант, это может быть та же сеть, подключенная к вашей внутренней сети. Наконец, это может быть любая виртуальная сеть, если вы собираетесь использовать собственные статические общедоступные IP-адреса для Azure-SSIS IR.

   5. В поле Имя подсети выберите имя подсети в виртуальной сети. Она должна быть той же самой, которая использовалась для настройки конечной точки службы для виртуальной сети вашего сервера База данных SQL Azure, на котором размещён SSISDB. Она может находиться в другой подсети, чем та, к которой присоединен управляемый экземпляр SQL Azure, на котором размещён SSISDB. Наконец, это может быть любая подсеть, если вы собираетесь использовать собственные статические общедоступные IP-адреса для Azure-SSIS IR.

   6. В качестве метода внедрения виртуальной сети выберите метод внедрения виртуальных сетей: ускоренный/стандартный.

      Чтобы сравнить эти методы, см. статью Сравнение стандартного и экспресс-методов внедрения виртуальной сети.

      Если вы выберете Express, см. статью о методе внедрения виртуальной сети Express.

      Если вы выберете стандартный, см. статью о стандартном методе внедрения виртуальной сети. С помощью этого метода можно также:

      1. Установите флажок Использовать статические общедоступные IP-адреса для Azure-SSIS Integration Runtime, чтобы выбрать, хотите ли вы использовать собственные статические общедоступные IP-адреса для Azure-SSIS IR, чтобы разрешить их на брандмауэре ваших хранилищ данных.

         Если вы установите флажок, выполните указанные ниже действия.

         1. В поле Первый статический общедоступный IP-адрес выберите первый статический общедоступный IP-адрес, соответствующий требованиям для Azure-SSIS IR. Если у вас его нет, щелкните ссылку Создать новый, чтобы создать статические общедоступные IP-адреса на портале Azure, а затем нажмите здесь кнопку обновления, чтобы их можно было выбрать.

         2. В поле Второй статический общедоступный IP-адрес выберите второй статический общедоступный IP-адрес, соответствующий требованиям для Azure-SSIS IR. Если у вас его нет, щелкните ссылку Создать новый, чтобы создать статические общедоступные IP-адреса на портале Azure, а затем нажмите здесь кнопку обновления, чтобы их можно было выбрать.

4. Установите флажок Set up Self-Hosted Integration Runtime as a proxy for your Azure-SSIS Integration Runtime (Настроить локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS Integration Runtime), если вы хотите использовать локальную среду выполнения интеграции в качестве прокси-сервера для Azure-SSIS IR. Подробности см. в разделе Настройка самостоятельно размещенной среды выполнения интеграции в качестве прокси.

   Если вы установите флажок, выполните указанные ниже действия.

   

   1. В Self-Hosted Integration Runtime выберите свою существующую локальную среду IR в качестве прокси для Azure-SSIS IR.

   2. В раскрывающемся списке Staging Storage Linked Service (Служба, связанная с промежуточным хранилищем) выберите существующую службу, связанную с хранилищем BLOB-объектов Azure, или создайте новую службу для промежуточного процесса.

   3. В поле Staging Path (Промежуточный путь) укажите контейнер BLOB-объектов в выбранной учетной записи хранилища BLOB-объектов Azure или оставьте это поле пустым, чтобы использовать для промежуточного процесса контейнер по умолчанию.

5. Выберите Проверка виртуальной сети. Если проверка пройдена, выберите Продолжить.

На странице Сводка проверьте все настройки для Azure-SSIS IR, добавьте в закладки рекомендуемые ссылки на документацию и нажмите Готово, чтобы начать создание вашей среды выполнения интеграции.

Панель "Подключения"

На панели Подключения центра Управление перейдите на страницу Среды выполнения интеграции и выберите Обновить.

Вы можете изменить или перенастроить свою Azure-SSIS IR, выбрав ее имя. С помощью соответствующих кнопок можно пинговать, запускать, останавливать или удалять Azure-SSIS IR, автоматически создавать конвейер ADF с помощью действия "Выполнение пакета SSIS" для запуска на Azure-SSIS IR, а также просматривать JSON-код и полезную нагрузку Azure-SSIS IR. Изменить или удалить Azure-SSIS IR можно только после ее остановки.

Среда выполнения интеграции Azure SSIS на портале

1. В пользовательском интерфейсе Фабрики данных Azure откройте вкладку Управление и перейдите на вкладку Среды выполнения интеграции в области Подключения, чтобы просмотреть все имеющиеся в фабрике данных среды выполнения интеграции.

   

2. Выберите Создать, чтобы создать Azure-SSIS IR и открыть область Integration runtime setup (Настройка среды выполнения интеграции).

   

3. В области Integration runtime setup выберите плитку Перенос имеющихся пакетов служб SSIS в Azure, а затем нажмите Продолжить.

   

4. Для оставшихся шагов по настройке Azure SSIS IR смотрите раздел Подготовка среды выполнения интеграции Azure SSIS.

Связанный контент

• Создайте Azure-SSIS IR с помощью Azure PowerShell.
• Создайте Azure-SSIS IR с помощью шаблона Azure Resource Manager.
• Разверните и запустите пакеты служб SSIS в Azure-SSIS IR.

Дополнительные сведения о среде выполнения Azure-SSIS IR см. в следующих статьях:

• Azure-SSIS IR В этой статье содержатся общие базовые сведения о средах выполнения интеграции, включая Azure-SSIS IR.
• Мониторинг Azure-SSIS IR. Из этой статьи вы узнаете, как получать и интерпретировать информацию об Azure-SSIS IR.
• Manage an Azure-SSIS integration runtime (Управление средой выполнения интеграции Azure SSIS). В этой статье поясняется, как остановить, запустить и удалить Azure-SSIS IR. Показано также, как масштабировать по горизонтали Azure-SSIS IR, добавляя дополнительные узлы.
• Развертывание, выполнение и мониторинг пакетов SQL Server Integration Services (SSIS) в Azure
• Подключение к SSISDB в Azure
• Подключение к локальным хранилищам данных с проверкой подлинности Windows
• Планирование выполнения пакетов служб SSIS в Azure