Настройка среды выполнения интеграции Azure-SSIS для обеспечения непрерывности бизнес-процессов и аварийного восстановления (BCDR)

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

База данных SQL Azure или Управляемый экземпляр и службы SQL Server Integration Services (SSIS) в Фабрике данных Azure (ADF) или Synapse Pipelines можно объединить в качестве рекомендуемого решения all-Platform as a Service (PaaS) для миграции SQL Server. Проекты служб SSIS можно развернуть в базе данных каталога служб SSIS (SSISDB), размещенной базой данных SQL Azure или Управляемым экземпляром, и запустить пакеты служб SSIS в среде выполнения интеграции Azure SSIS (IR) в ADF или Synapse Pipelines.

Для обеспечения непрерывности бизнес-процессов и аварийного восстановления (BCDR) База данных SQL Azure и Управляемый экземпляр можно настроить с помощью георепликации/группы отказоустойчивости, где SSISDB в основном регионе Azure с доступом на чтение и запись (основная роль) будет непрерывно реплицироваться в дополнительный регион с доступом только для чтения (вторичная роль). При возникновении аварии в основном регионе будет активировано переключение на резервную систему, при котором первичные и вторичные SSISDB обменяются ролями.

Для BCDR можно также настроить двойную резервную пару Среды выполнения интеграции Azure SSIS IR, которая работает в синхронизации с группой отработки отказа базы данных SQL Azure или управляемого экземпляра. Это позволяет иметь пару работающих Azure-SSIS IRs, из которых в любой момент времени только один может получать доступ к основному SSISDB для извлечения и выполнения пакетов, а также записи журналов выполнения пакетов (основная роль), в то время как другой может делать это только с пакетами, развернутыми в другом месте, например, в Файлы Azure (вторичная роль). Когда происходит аварийное переключение SSISDB, первичный и вторичный Azure-SSIS IR также переключатся на свои роли, и если оба запущены, то время простоя будет почти нулевым.

Этот подход можно использовать с любыми регионами, поддерживаемыми SQL Azure. Он не ограничен парными регионами Azure.

В этой статье описывается, как настроить Azure-SSIS IR с группой отказоустойчивых ресурсов в базе данных SQL Azure или управляемом экземпляре для BCDR.

Настройка двойной резервной пары Azure-SSIS IR с группой отработки отказа базы данных SQL Azure

Чтобы настроить двойную резервную пару Azure-SSIS IR, которая работает в синхронизации с группой отработки отказа базы данных SQL Azure, выполните следующие действия.

1. С помощью пользовательского интерфейса портала Azure или интерфейса ADF вы можете создать новую среду выполнения Azure-SSIS IR с вашим основным сервером базы данных Azure SQL для размещения SSISDB в основном регионе. Если у вас уже есть Azure-SSIS IR, которая уже подключена к SSIDB, размещенной сервером базы данных SQL Azure, и она по-прежнему запущена, необходимо сначала остановить ее, чтобы перенастроить ее. Это будет ваш основной Azure-SSIS IR.

   При выборе использования SSISDB на странице параметров развертывания области установки среды выполнения интеграции установите также флажок "Использовать двойную резервную Azure-SSIS среду выполнения интеграции" с флажок "Отработка отказа SSISDB ". Для имени двойной резервной пары введите имя для идентификации пары первичных и вторичных Azure-SSIS IR. После завершения создания основной Azure-SSIS IR она будет запущена и присоединена к основному SSISDB, который будет создан от вашего имени с доступом на чтение и запись. Если вы только что перенастроили его, необходимо перезапустить его.

2. С помощью портала Azure можно проверить, был ли создан первичный SSISDB на странице обзора сервера базы данных SQL Azure. После создания вы можете создать группу отработки отказа для основных и вторичных серверов Базы данных SQL Azure и добавить в нее SSISDB на странице групп отработки отказа . После создания группы для аварийного переключения, можно проверить, была ли реплицирована первичная база данных SSISDB в дополнительную с доступом только для чтения, на странице Обзор вашего вторичного сервера базы данных SQL Azure.

3. С помощью портала Azure или пользовательского интерфейса ADF можно создать еще одну Azure-SSIS IR с сервером базы данных SQL Azure для размещения SSISDB в дополнительном регионе. Это будет ваше вторичное рабочее окружение Azure-SSIS IR. Для полного BCDR убедитесь, что все ресурсы, от которых он зависит, также создаются во вторичном регионе, например, в служба хранилища Azure для хранения настраиваемых скриптов и файлов, ADF для оркестрации или планирования выполнения пакетов и т. д.

   При выборе использования SSISDB на странице параметров развертывания области установки среды выполнения интеграции установите также флажок "Использовать двойную резервную Azure-SSIS среду выполнения интеграции" с флажок "Отработка отказа SSISDB ". Для имени двойной резервной пары введите одинаковое имя, чтобы идентифицировать пару первичных и вторичных Azure-SSIS IRs. После завершения создания вторичной Azure-SSIS IR она будет запущена и присоединена к вторичной SSISDB.

4. Если вы хотите иметь практически нулевое время простоя при отказе SSISDB, обеспечьте работу обоих Azure-SSIS IR. Только основная Azure-SSIS IR может получить доступ к основному SSISDB для получения и выполнения пакетов, а также записывать журналы выполнения пакетов, а вторичная Azure-SSIS IR может выполнять только те же действия для пакетов, развернутых в другом месте, например в файлах Azure.

   Если вы хотите свести к минимуму текущие расходы, можно остановить вторичный Azure-SSIS IR после его создания. При отработке отказа SSISDB первичный и вторичный Azure-SSIS IR поменяются ролями. Если основной Azure-SSIS IR остановлен, необходимо перезапустить его. В зависимости от того, внедряется ли он в виртуальную сеть и какого метода внедрения используется, выполнение займет либо около 5 минут, либо в пределах 20-30 минут.

5. Если вы используете ADF для оркестрации или планирования выполнения пакетов, убедитесь, что все соответствующие конвейеры ADF с действиями "Выполнить пакет SSIS" и связанные триггеры копируются в вторичный ADF с триггерами, изначально отключенными. При переключении SSISDB на резервный сервер необходимо активировать его.

6. Вы можете протестировать группу отработки отказа базы данных SQL Azure и проверить на странице мониторинга Azure-SSIS IR в портале ADF, поменялись ли ролями ваши первичные и вторичные Azure-SSIS IR.

Настройка двойной резервной пары Azure-SSIS IR с группой отработки отказа Управляемого экземпляра SQL Azure

Чтобы настроить двойную резервную пару Azure-SSIS IR, которая работает в синхронизации с группой отработки отказа Управляемого экземпляра SQL Azure, выполните следующие действия.

1. С помощью портала Azure можно создать группу отказоустойчивости для основных и вторичных экземпляров Управляемый экземпляр SQL Azure на странице группы отказоустойчивости основного экземпляра Управляемый экземпляр SQL Azure.

2. С помощью портала Azure или пользовательского интерфейса ADF можно создать новую Azure-SSIS IR с основным управляемым экземпляром SQL Azure для размещения SSISDB в основном регионе. Если у вас уже есть Azure-SSIS IR, которая уже подключена к SSIDB, размещенной в основном управляемом экземпляре SQL Azure, и она по-прежнему запущена, необходимо сначала остановить ее, чтобы перенастроить ее. Это будет ваш основной Azure-SSIS IR.

   При выборе использования SSISDB на странице параметров развертывания области установки среды выполнения интеграции установите также флажок "Использовать двойную резервную Azure-SSIS среду выполнения интеграции" с флажок "Отработка отказа SSISDB ". Для имени двойной резервной пары введите имя для идентификации пары первичных и вторичных Azure-SSIS IR. После завершения создания основной Azure-SSIS IR она будет запущена и присоединена к основному SSISDB, который будет создан от вашего имени с доступом на чтение и запись. Если вы только что перенастроили его, необходимо перезапустить его. Кроме того, можно проверить, реплицируется ли основной SSISDB в вторичный экземпляр с доступом только для чтения на странице обзора вторичного управляемого экземпляра SQL Azure.

3. С помощью портала Azure или пользовательского интерфейса ADF можно создать другую Azure-SSIS IR с дополнительным управляемым экземпляром SQL Azure для размещения SSISDB в дополнительном регионе. Это будет ваше вторичное рабочее окружение Azure-SSIS IR. Для полного BCDR убедитесь, что все ресурсы, от которых он зависит, также создаются во вторичном регионе, например, в служба хранилища Azure для хранения настраиваемых скриптов и файлов, ADF для оркестрации или планирования выполнения пакетов и т. д.

   При выборе использования SSISDB на странице параметров развертывания области установки среды выполнения интеграции установите также флажок "Использовать двойную резервную Azure-SSIS среду выполнения интеграции" с флажок "Отработка отказа SSISDB ". Для имени двойной резервной пары введите одинаковое имя, чтобы идентифицировать пару первичных и вторичных Azure-SSIS IRs. После завершения создания вторичной Azure-SSIS IR она будет запущена и присоединена к вторичной SSISDB.

4. Управляемый экземпляр SQL Azure может защитить конфиденциальные данные в базах данных, таких как SSISDB, зашифровав их с помощью главного ключа базы данных (DMK). Сам DMK в свою очередь шифруется с помощью главного ключа службы (SMK) по умолчанию. С сентября 2021 года SMK реплицируется из основного управляемого экземпляра Azure SQL во вторичный во время создания группы аварийного переключения. Если группа отработки отказа была создана до этого, удалите все пользовательские базы данных, включая SSISDB, из вторичного управляемого экземпляра SQL Azure и повторно создайте группу отработки отказа.

5. Если вы хотите иметь практически нулевое время простоя при отказе SSISDB, обеспечьте работу обоих Azure-SSIS IR. Только основная Azure-SSIS IR может получить доступ к основному SSISDB для получения и выполнения пакетов, а также записывать журналы выполнения пакетов, а вторичная Azure-SSIS IR может выполнять только те же действия для пакетов, развернутых в другом месте, например в файлах Azure.

   Если вы хотите свести к минимуму текущие расходы, можно остановить вторичный Azure-SSIS IR после его создания. При отработке отказа SSISDB первичный и вторичный Azure-SSIS IR поменяются ролями. Если основной Azure-SSIS IR остановлен, необходимо перезапустить его. В зависимости от того, внедряется ли он в виртуальную сеть и какого метода внедрения используется, выполнение займет либо около 5 минут, либо в пределах 20-30 минут.

6. Если вы используете агент управляемого экземпляра SQL Azure для оркестрации и планирования выполнения пакетов, убедитесь, что все соответствующие задания служб SSIS со своими шагами задания и связанными расписаниями копируются в дополнительный управляемый экземпляр SQL Azure с расписаниями, изначально отключенными. С помощью SSMS выполните следующие действия.

   1. Для каждого задания служб SSIS щелкните правой кнопкой мыши и выберите Сценарий задания как, CREATE To и Новое окно редактора запросов в раскрывающемся меню для генерации его скрипта.

      

   2. Для каждого созданного скрипта задания SSIS найдите команду для выполнения sp_add_job хранимой процедуры и измените или удалите назначение значения для @owner_login_name аргумента по мере необходимости.

   3. Для каждого обновленного скрипта задания служб SSIS запустите его на вторичном управляемом экземпляре Azure SQL, чтобы скопировать задание с его шагами и связанными расписаниями.

   4. С помощью следующего скрипта создайте новое задание T-SQL, чтобы включить или отключить расписания заданий служб SSIS на основе основной или вторичной роли SSISDB соответственно в первичных и вторичных управляемых экземплярах SQL Azure и регулярно запускать их. При отработке отказа SSISDB расписания заданий SSIS, которые были отключены, будут включены и наоборот.

      IF (SELECT Top 1 role_desc FROM SSISDB.sys.dm_geo_replication_link_status WHERE partner_database = 'SSISDB') = 'PRIMARY'
         BEGIN
            IF (SELECT enabled FROM msdb.dbo.sysschedules WHERE schedule_id = <ScheduleID>) = 0
               EXEC msdb.dbo.sp_update_schedule @schedule_id = <ScheduleID >, @enabled = 1
         END
      ELSE
         BEGIN
            IF (SELECT enabled FROM msdb.dbo.sysschedules WHERE schedule_id = <ScheduleID>) = 1
               EXEC msdb.dbo.sp_update_schedule @schedule_id = <ScheduleID >, @enabled = 0
         END
      

7. Если вы используете ADF для оркестрации или планирования выполнения пакетов, убедитесь, что все соответствующие конвейеры ADF с действиями "Выполнить пакет SSIS" и связанные триггеры копируются в вторичный ADF с триггерами, изначально отключенными. При переключении SSISDB на резервный сервер необходимо активировать его.

8. Вы можете протестировать группу отработки отказа управляемого экземпляра SQL Azure и проверить на странице мониторинга Azure-SSIS IR на портале ADF, поменялись ли местами роли первичных и вторичных Azure-SSIS IR.

Присоедините новый Azure-SSIS IR к существующему SSISDB, размещенному в базе данных Azure SQL или в управляемом экземпляре.

Если происходит авария, которая влияет на существующий Azure-SSIS IR, но не на базу данных Azure SQL или управляемый экземпляр в том же регионе, его можно заменить новым в другом регионе. Чтобы подключить существующий SSISDB, размещенный в База данных SQL Azure или Управляемом экземпляре, к новой Azure-SSIS IR, выполните следующие действия.

1. Если существующий Azure-SSIS IR по-прежнему запущен, необходимо сначала остановить его с помощью портала Azure, пользовательского интерфейса ADF или Azure PowerShell. Если авария также влияет на ADF в том же регионе, можно пропустить этот шаг.

2. С помощью SSMS выполните следующую команду для SSISDB в базе данных SQL Azure или управляемом экземпляре, чтобы обновить метаданные, которые позволят осуществлять подключения из новой интеграционной среды ADF/Azure-SSIS IR.

   EXEC [catalog].[failover_integration_runtime] @data_factory_name = 'YourNewADF', @integration_runtime_name = 'YourNewAzureSSISIR'
   

3. Используя пользовательский интерфейс портала Azure/ADF или Azure PowerShell, создайте новый ADF/Azure-SSIS IR с именем YourNewADF/YourNewAzureSSISIR соответственно в другом регионе. Если вы используете пользовательский интерфейс портала Azure или ADF, можно игнорировать ошибку тестового подключения на странице параметров развертывания области установки среды выполнения интеграции .

Связанный контент

Вы можете рассмотреть эти другие параметры конфигурации для Azure-SSIS IR:

• Настройка хранилищ пакетов для Azure-SSIS IR

• Настройка пользовательских настроек для Azure-SSIS IR

• Настройка внедрения виртуальной сети для Azure-SSIS IR

• Настройте автономный IR как прокси для вашего Azure-SSIS IR