Перенос рабочих нагрузок SQL Server Integration Services в облако

Область применения:SQL Server среда выполнения интеграции SSIS в Фабрика данных Azure

Проекты, пакеты и рабочие нагрузки служб SQL Server Integration Services (SSIS) теперь можно переносить в облако Azure. Для управления, развертывания и выполнения проектов и пакетов SSIS в каталоге SSIS (SSISDB), размещенном в службе "База данных SQL Azure" или Управляемом экземпляре SQL, можно использовать привычные средства, например SQL Server Management Studio (SSMS).

Льготы

Перенос локальных рабочих нагрузок служб SSIS в Azure имеет следующие потенциальные преимущества:

  • Сокращение операционных затрат и усилий на управление инфраструктурой, которые требуются, когда службы SSIS выполняются локально или в виртуальных машинах Azure.
  • Повышение уровня доступности благодаря возможности указывать несколько узлов в каждом кластере, а также использовать функции обеспечения высокой доступности Azure и базы данных SQL Azure.
  • Повышение масштабируемости благодаря возможности указывать несколько ядер на узел (вертикальное увеличение масштаба) и несколько узлов на кластер (горизонтальное увеличение масштаба).

Архитектура SSIS в Azure

В приведенной ниже таблице представлены различия между локальными службами SSIS и службами SSIS в Azure.

Главное различие заключается в разделении хранилища и среды выполнения. В фабрике данных Azure размещается подсистема среды выполнения для пакетов SSIS в Azure. Подсистема среды выполнения называется Azure-SSIS Integration Runtime (Azure-SSIS IR). Дополнительные сведения: Azure-SSIS Integration Runtime.

Расположение Хранилище Параметры выполнения Масштабируемость
Локально SQL Server Среда выполнения служб SSIS размещается в SQL Server Горизонтальное масштабирование SSIS (в SQL Server 2017 и более поздних версиях)

Пользовательские решения (в предыдущих версиях SQL Server)
В Azure База данных SQL или Управляемый экземпляр SQL Azure-SSIS Integration Runtime, компонент фабрики данных Azure Параметры масштабирования для Azure-SSIS Integration Runtime

Развертывание SSIS в Azure

Подготовка. Перед тем как развертывать и выполнять пакеты SSIS в Azure, необходимо подготовить каталог SSIS (SSISDB) и среду Azure-SSIS Integration Runtime.

Azure-SSIS IR нужно подготовить всего один раз. После этого можно использовать знакомые средства, такие как SQL Server Data Tools (SSDT) и SQL Server Management Studio (SSMS) для развертывания, настройки, запуска, мониторинга, планирования пакетов и управления ими.

Примечание.

Среда выполнения интеграции Azure-SSIS пока недоступна не во всех регионах Azure. Сведения о поддерживаемых регионах см. на странице Доступность продуктов по регионам — Microsoft Azure.

Вертикальное и горизонтальное масштабирование. При подготовке Azure-SSIS IR можно выполнить вертикальное и горизонтальное масштабирование, указав значения для следующих параметров:

  • размер узла (включая число ядер) и число узлов в кластере;
  • существующий экземпляр базы данных SQL Azure для размещения базы данных каталога SSIS (SSISDB) и уровень обслуживания базы данных;
  • Максимальное число параллельных запусков на узел.

Повышение производительности. Дополнительные сведения см. в статье Настройка высокого уровня производительности в Azure-SSIS Integration Runtime.

Сокращение затрат. Чтобы снизить затраты, запускайте Azure-SSIS IR только при необходимости. Дополнительные сведения см. в статье Как настроить запуск и остановку среды выполнения интеграции Azure SSIS по расписанию.

Пакеты дизайна

Вы можете продолжать проектировать и создавать пакеты в локальной среде в средствах SSDT или в Visual Studio с установленными средствами SSDT.

Подключение к источникам данных

Чтобы подключиться к локальным источникам данных из облака с помощью проверки подлинности Windows, см. статью Подключение к источникам данных и общим папкам с помощью проверки подлинности Windows в пакетах SSIS в Azure.

Сведения о подключении к файлам и общим папкам см. в статье Открытие и сохранение файлов в локальной среде и в Azure с помощью пакетов SSI, развернутых в Azure.

Доступные компоненты SSIS

При создании экземпляра SQL Database для размещения базы данных SSISDB также устанавливаются Azure Feature Pack for SSIS и распространяемый пакет Access. Эти компоненты обеспечивают подключение к различным источникам данных Azure, файлам Excel и Access, а также источникам данных, поддерживаемым встроенными компонентами.

Можно также установить дополнительные компоненты. Например, можно установить драйвер, который не устанавливается по умолчанию. Дополнительные сведения см. в статье Customize setup for the Azure-SSIS integration runtime (Настройка установки для среды выполнения интеграции Azure — SSIS).

Владельцам лицензия выпуск Enterprise доступны дополнительные компоненты. Дополнительные сведения см. в статье Подготовка выпуска выпуск Enterprise для Azure-SSIS Integration Runtime.

Если вы независимый поставщик программного обеспечения, вы можете обновить установку лицензированных компонентов, чтобы сделать их доступными в Azure. Дополнительные сведения: Установка платных или лицензионных пользовательских компонентов для среды выполнения интеграции Azure – SSI.

Развертывание и запуск пакетов

Начало работы описано в руководстве по развертыванию и выполнению пакета служб SQL Server Integration Services (SSI) в Azure.

Предварительные требования

Для развертывания пакетов SSIS в Azure нужна одна из следующих версий SQL Server Data Tools (SSDT):

  • Для Visual Studio 2017 — 15.3 или более поздняя версия.
  • Для Visual Studio 2015 — 17.2 или более поздняя версия.

Подключение к SSISDB

Имя базы данных SQL, в которой размещается база данных SSISDB, станет первой частью четырехкомпонентного имени, которое применяется при развертывании и запуске пакетов из SSDT и SSMS в следующем формате: <sql_database_name>.database.windows.net. См. дополнительные сведения о подключении к базе данных каталога SSI (SSISDB) в Azure.

Развертывание проектов и пакетов

Для проектов, развертываемых в базе данных SSISDB в Azure, необходимо использовать модель развертывания проектов, а не модель развертывания пакетов.

Для развертывания проектов в Azure можно использовать одно из знакомых средств и скриптов:

  • SQL Server Management Studio (SSMS)
  • Transact-SQL (в SSMS, Visual Studio Code или другом средстве)
  • Программа командной строки
  • PowerShell или C# и объектная модель управления служб SSIS

В процессе развертывания проверяется возможность выполнения пакета в среде Azure-SSIS Integration Runtime. Подробнее см. в статье Проверка пакетов служб SQL Server Integration Services (SSI) в Azure.

Пример развертывания, в котором используются SSMS и мастер развертывания служб Integration Services, см. в статье Руководство. Развертывание и запуск пакета SQL Server Integration Services (SSIS) в Azure.

Поддерживаемые версии

В Azure можно развертывать пакеты, создаваемые в любых версиях SSIS. Если при развертывании пакета в Azure отсутствуют ошибки проверки, формат пакета автоматически обновляется до последней версии. Другими словами, он всегда обновляется до новейшей версии SSIS.

Запуск пакетов

Вам доступны несколько методов запуска пакетов MSSQL Integration Services, развернутых в Azure. Подробнее см. в статье Выполнение пакетов служб SQL Server Integration Services (SSI), развернутых в Azure.

Запуск пакетов в конвейере Фабрика данных Azure

Чтобы выполнить пакет SSIS в конвейере Фабрика данных Azure, используйте действие «Execute SSIS Package». Дополнительные сведения см. в статье Выполнение пакета служб SSIS с помощью действия "Выполнение пакета служб SSIS" в фабрике данных Azure.

Если вы запускаете пакет в конвейере фабрики данных с помощью действия "Выполнение пакета служб SSI", вы можете передать значения в пакет во время выполнения. Чтобы передать одно или несколько значений времени выполнения, создайте среды выполнения SSIS в SSISDB с помощью SQL Server Management Studio (SSMS). В каждой среде создайте переменные и присвойте значения, которые соответствуют параметрам для проектов или пакетов. Настройте пакеты служб SSIS в среде SSMS, чтобы связать эти переменные среды с параметрами проекта или пакета. При запуске пакетов в конвейере переключайтесь между средами, указывая разные пути к средам на вкладке "Настройки" в пользовательском интерфейсе действия "Выполнить пакет SSIS". Дополнительные сведения о средах SSI см. в статье Создание и сопоставление серверной среды.

Отслеживать пакеты

Для отслеживания запускаемых пакетов вы можете использовать в SSMS следующие средства отчетности.

  • Щелкните базу данных SSISDB правой кнопкой мыши и выберите пункт Активные операции, чтобы открыть диалоговое окно Активные операции.
  • Выберите пакет в обозревателе объектов, щелкните его правой кнопкой мыши, выберите пункт Отчеты, затем — Стандартные отчеты и Все выполнения.

Чтобы отслеживать Azure-SSIS Integration Runtime, см. Мониторинг среды выполнения интеграции Azure-SSIS.

Расписание пакетов

Запланировать запуск пакетов, развернутых в Azure, можно разными средствами. Подробнее см. в статье Планирование выполнения пакетов служб SQL Server Integration Services (SSI), развернутых в Azure.

Связанные материалы

  • Last updated on