Надежность в фабрике данных Azure

В этой статье описывается поддержка надежности в Фабрике данных Azure, охватывающая устойчивость внутри региона через зоны доступности и развертывания в нескольких регионах.

Надежность — это общая ответственность между вами и корпорацией Майкрософт, поэтому в этой статье также рассматриваются способы создания надежного решения, соответствующего вашим потребностям.

С помощью фабрики данных Azure можно создавать гибкие и мощные конвейеры данных для интеграции бессерверных данных и преобразования данных. В результате при определении плана непрерывности бизнес-процессов для обеспечения надежности необходимо учитывать требования к надежности и рекомендации.

• Конвейеры Фабрики данных Azure.
• Среды выполнения интеграции, которые подключаются к хранилищам данных и выполняют действия, определенные в вашем конвейере.
• Хранилища данных, подключенные к фабрике данных. Чтобы обеспечить соответствие требованиям к непрерывности бизнес-процессов, ознакомьтесь с документацией по надежности продукта и рекомендациями.

Фабрика данных Azure состоит из нескольких компонентов инфраструктуры. Каждый компонент поддерживает надежность инфраструктуры по-разному.

Компоненты фабрики данных Azure:

• Базовая служба Фабрики данных Azure, которая управляет триггерами конвейера и координирует выполнение конвейера. Основная служба также управляет метаданными каждого компонента в фабрике данных. Основная служба управляется корпорацией Майкрософт.

• Среды выполнения интеграции, которые выполняют определенные действия в рамках конвейера. Существуют различные типы сред выполнения интеграции:

  • Среды выполнения интеграции, управляемые корпорацией Майкрософт, включая среду выполнения интеграции Azure и среду выполнения интеграции Azure-SSIS. Корпорация Майкрософт управляет компонентами, составляющими эти среды выполнения. В некоторых ситуациях вы настраиваете параметры, влияющие на устойчивость сред выполнения интеграции.

  • Локальная среда выполнения интеграции. Корпорация Майкрософт предоставляет программное обеспечение, которое можно запустить в собственной вычислительной инфраструктуре для выполнения некоторых частей конвейеров фабрики данных Azure. Вы несете ответственность за развертывание вычислительных ресурсов и управление ими, а также за устойчивость этих вычислительных ресурсов.

Временные ошибки являются короткими, периодическими сбоями в компонентах. Они часто происходят в распределенной среде, такой как облачная платформа, и являются обычной частью операций. Они исправляют себя через короткий период времени. Важно, чтобы приложения обрабатывали временные ошибки, обычно повторяя затронутые запросы.

Все облачные приложения должны следовать рекомендациям по обработке временных ошибок Azure при взаимодействии с любыми облачными API, базами данных и другими компонентами. Чтобы узнать больше об обработке временных сбоев, см. рекомендации по обработке временных сбоев.

При использовании фабрики данных Azure важно подготовиться к временным сбоям, особенно при разработке конвейеров и действий.

Действия конвейера должны быть записаны как идемпотентные, что означает, что их можно повторно запускать без неблагоприятных побочных эффектов. Если возникает временный сбой сети или даже сбой зоны доступности, фабрика данных Azure может повторно запустить действия конвейера и поэтому может создавать повторяющиеся записи.

Чтобы избежать вставки повторяющихся записей после временной ошибки, можно использовать следующие рекомендации.

• Перед записью в базу данных используйте уникальные идентификаторы для каждой записи. Такой подход может помочь выявить и устранить повторяющиеся копии.
• Стратегия Upsert — это вариант для соединителей, поддерживающих upsert. Используйте этот подход, чтобы проверить, существует ли запись перед вставкой. Если он существует, обновите его. Если он не существует, вставьте его. Например, команды SQL, такие как MERGE или ON DUPLICATE KEY UPDATE, используют этот подход upsert.
• Используйте стратегии действий копирования , которые рассматриваются в статье о проверке согласованности данных в действиях копирования.

С помощью политик повторных запросов вы можете настроить части конвейера для повторного выполнения в случае возникновения проблемы, например, когда ресурс, к которому вы подключаетесь, имеет временный сбой. В Фабрике данных Azure можно настроить политики повторных попыток в следующих типах объектов конвейера:

• Триггеры скользящего окна.
• Деятельность по выполнению.

Сведения о том, как изменить или отключить политики повторных попыток для триггеров и действий в вашей фабрике данных, см. в разделе "Выполнение конвейера и триггеры".

Зоны доступности — это физически отдельные группы центров обработки данных в каждом регионе Azure. При сбое одной зоны службы могут переключаться на одну из оставшихся зон.

Дополнительные сведения о зонах доступности в Azure см. в статье "Что такое зоны доступности?"

Фабрика данных Azure поддерживает избыточность зоны, которая обеспечивает устойчивость к сбоям в зонах доступности. В этом разделе рассматривается, как каждая часть службы Фабрики данных Azure поддерживает избыточность зоны.

Ресурсы Azure Data Factory с зональной избыточностью можно развернуть в любом регионе, поддерживающем зоны доступности.

Базовая служба: Корпорация Майкрософт управляет компонентами в основной службе Фабрики данных Azure и распределяет их по зонам доступности.

Среды выполнения интеграции: Поддержка избыточности зоны зависит от типа используемой среды выполнения интеграции:

• Среда выполнения интеграции Azure поддерживает зональную избыточность, и эта возможность управляется Microsoft.
• Azure-SSIS среда выполнения интеграции требует автоматического выделения по крайней мере двух узлов, размещаемых в разных зонах доступности.
• Самостоятельно управляемая среда выполнения интеграции возлагает на вас ответственность за развертывание вычислительной инфраструктуры для размещения этой среды. Можно развернуть несколько узлов, таких как отдельные виртуальные машины, и настроить их для обеспечения высокой доступности. Затем эти узлы можно распределить между несколькими зонами доступности. Дополнительные сведения см. в статье "Высокий уровень доступности и масштабируемость".

Основная услуга: Дополнительные расходы на резервное копирование зоны отсутствуют.

Среды выполнения интеграции: Стоимость избыточности зоны отличается в зависимости от типа используемой среды выполнения интеграции:

• Среда выполнения интеграции Azure включает зональную избыточность без дополнительных затрат.
• Azure-SSIS среда выполнения интеграции требует развертывания как минимум двух узлов для обеспечения зональной избыточности. См. дополнительные сведения о расчете затрат для каждого узла в примере расчета затрат: работа с пакетами служб SSIS в среде выполнения интеграции Azure-SSIS.
• Локальная среда выполнения интеграции требует развертывания и управления инфраструктурой вычислений. Чтобы обеспечить устойчивость зоны, необходимо распределить вычислительные ресурсы по нескольким зонам. В зависимости от того, сколько узлов вы развертываете и как вы их настраиваете, вы можете понести дополнительные расходы от основных вычислительных сервисов и других вспомогательных сервисов. Дополнительная плата не взимается для запуска локальной среды выполнения интеграции на нескольких узлах.

Базовая служба Фабрики данных Azure: Конфигурация не требуется. Основной сервис Azure Data Factory автоматически поддерживает зональную избыточность.

Среды выполнения интеграции:

• Среда выполнения интеграции Azure: Конфигурация не требуется. Среда выполнения интеграции Azure автоматически обеспечивает зональную избыточность.
• среда выполнения интеграцииAzure-SSIS: Конфигурация не требуется. Azure-SSIS среда интеграции автоматически включает зоновую избыточность при развертывании на двух или более узлах.
• Локальная среда выполнения интеграции требует настройки собственной устойчивости, включая распространение узлов в нескольких зонах доступности.

Базовая служба: Базовая служба Фабрики данных Azure автоматически масштабируется по требованию, и вам не нужно планировать или управлять емкостью.

Среды выполнения интеграции:

• Среда выполнения интеграции Azure автоматически масштабируется по требованию, и вам не нужно планировать или управлять емкостью.
• Среде выполнения интеграции Azure-SSIS требуется вручную настроить количество используемых узлов. Чтобы подготовиться к сбою зоны доступности, рассмотрите чрезмерное резервирование ресурсов вашей среды выполнения интеграции. Чрезмерное подготовление позволяет решению выдерживать некоторую степень потери емкости и продолжать функционировать без снижения производительности. Дополнительные сведения о чрезмерной подготовке см. в статье "Управление емкостью с помощью чрезмерной подготовки".
• Локальная среда выполнения интеграции требует настройки собственной емкости и масштабирования. При развертывании локальной среды выполнения интеграции учтите возможность избыточного выделения ресурсов.

В этом разделе описывается, чего ожидать, когда ресурсы Azure Data Factory настроены для зональной избыточности и все зоны доступности работают исправно.

Маршрутизация трафика между зонами: Во время обычных операций Фабрика данных Azure автоматически распределяет действия конвейера, триггеры и другую работу среди здоровых экземпляров в каждой зоне доступности.

В этом разделе описывается, чего ожидать, когда ресурсы Azure Data Factory настроены для избыточности зон, и происходит сбой в зоне доступности.

• Обнаружение и ответ. Платформа Фабрики данных Azure отвечает за обнаружение сбоя в зоне доступности и реагирование. Вам не нужно ничего делать для обеспечения отказоустойчивости зоны в ваших процессах или других компонентах.

• Активные запросы. Любые конвейеры и триггеры, находящиеся в процессе выполнения, продолжают выполняться, и вы не заметите отказ зоны. Процессы, выполняющиеся во время сбоя зоны, могут завершиться сбоем и быть перезапущены. Важно разработать действия таким образом, чтобы они были идемпотентными, что это помогает им восстанавливаться после отказов в зоне, а также других ошибок. Дополнительные сведения см. в разделе "Временные ошибки".

Когда зона доступности восстанавливается, Azure Data Factory автоматически восстанавливает работу в исходной зоне. Вам не нужно ничего делать, чтобы инициировать восстановление зоны в ваших конвейерных системах или других компонентах.

Однако если вы используете локальную среду выполнения интеграции, может потребоваться перезапустить вычислительные ресурсы, если они были остановлены.

Для базовой службы, а также Azure и Azure-SSIS интеграции среды выполнения, Azure Data Factory управляет маршрутизацией трафика, отработкой отказа и восстановлением размещения для зонально-избыточных ресурсов. Так как эта функция полностью управляема, не требуется инициировать или проверять процессы сбоя зоны доступности.

Для локальной среды выполнения интеграции можно использовать Azure Chaos Studio для имитации сбоя зоны доступности на виртуальной машине Azure.

Ресурсы фабрики данных Azure развертываются в одном регионе Azure. Если регион становится недоступным, ваша фабрика данных также недоступна. Однако существуют подходы, которые можно использовать для обеспечения устойчивости к сбоям в регионе в зависимости от того, находится ли фабрика данных в парном или непарном регионе, а также в зависимости от ваших требований и настроек.

Фабрика данных Azure поддерживает управляемую корпорацией Майкрософт отработку отказа для фабрик данных в парных регионах (за исключением южной Бразилии и юго-восточной Азии). В маловероятном случае длительного сбоя региона корпорация Майкрософт может инициировать перенос нагрузки на другой регион для вашей инстанции Azure Data Factory.

Из-за требований к месту расположения данных в Южной Бразилии и Юго-Восточной Азии данные Azure Data Factory хранятся только в локальном регионе с использованием зонально-избыточного хранилища Azure (ZRS). Для Юго-Восточной Азии все данные хранятся в Сингапуре. Для Южной Бразилии все данные хранятся в Бразилии.

Для фабрик данных в неспаренных регионах, а также в Бразилии (Юг) или Юго-Восточной Азии, корпорация Майкрософт не выполняет региональную отказоустойчивость от вашего имени.

Чтобы подготовиться к переключению на резервный источник, в зависимости от используемой среды выполнения интеграции, могут возникнуть дополнительные соображения.

• Среда выполнения интеграции Azure может быть настроена для автоматического определения региона, который она использует. Если для региона установлено автоматическое разрешение и в основном регионе происходит сбой, среда выполнения интеграции Azure автоматически переключается на парный регион, с учетом ограничений на отработку отказа, описанных в отработке отказа в парном регионе, управляемой Корпорацией Майкрософт. Чтобы настроить регион выполнения интеграции Azure для выполнения или отправки задания в настройках среды выполнения интеграции, установите регион в значение автоматическое разрешение.
• Резервирование выполнения интеграцииAzure-SSIS управляется отдельно от резервирования фабрики данных, проводимого корпорацией Майкрософт. Дополнительные сведения см. в альтернативных многорегиональных подходах.
• Локальная среда выполнения интеграции работает в инфраструктуре, которую вы контролируете, поэтому отработка отказа, управляемая корпорацией Майкрософт, не применяется к локальным средам выполнения интеграции. Дополнительные сведения см. в альтернативных многорегиональных подходах.

После завершения отказоустойчивости, управляемой корпорацией Майкрософт, вы можете получить доступ к конвейеру Azure Data Factory в парном регионе.

Однако может потребоваться выполнить перенастройку сред выполнения интеграции или других компонентов после завершения переключения на резервный ресурс, включая восстановление сетевой конфигурации.

Если ваши потоки данных должны быть устойчивыми к региональным сбоям и вы хотите контролировать процесс аварийного переключения, рассмотрите возможность использования потока данных, основанного на метаданных.

• Настройте систему контроля версий для вашей фабрики данных Azure, чтобы отслеживать и проводить аудит любых изменений, внесенных в ваши метаданные. С помощью этого подхода вы также можете получить доступ к JSON-файлам метаданных для конвейеров, наборов данных, связанных служб и триггеров. Фабрика данных Azure поддерживает различные типы репозиториев Git (Azure DevOps и GitHub). Сведения о настройке системы управления версиями в Фабрике данных Azure см. в статье " Управление версиями" в Фабрике данных Azure.

• Используйте систему непрерывной интеграции и доставки (CI/CD), например Azure DevOps, для управления метаданными и развертываниями конвейера. С помощью CI/CD можно быстро восстановить операции в экземпляре в другом регионе. Если регион недоступен, можно подготовить новую фабрику данных вручную или с помощью автоматизации. После создания новой фабрики данных можно восстановить конвейеры, наборы данных и связанные службы JSON из существующего репозитория Git. Дополнительные сведения см. в статье BCDR для конвейеров Фабрики данных Azure и Azure Synapse Analytics.

В зависимости от среды выполнения интеграции, которую вы используете, могут возникнуть дополнительные соображения.

• Azure-SSIS среда выполнения интеграции использует базу данных, хранящуюся в Базе данных SQL Azure или Управляемом экземпляре SQL Azure. Вы можете настроить георепликацию или группу отработки отказа для этой базы данных. Затем база данных Azure-SSIS находится в основном регионе Azure с доступом на чтение и запись ( основная роль) и непрерывно реплицируется в дополнительный регион с доступом только для чтения ( вторичная роль). Если основной регион потерян, активируется отработка отказа, что приводит к переключению ролей основной и вторичной баз данных.

  Вы также можете настроить пару Azure SSIS IR в режиме двойного ожидания, которая работает в синхронизации с базой данных Azure SQL или группой отказоустойчивости Azure SQL Managed Instance.

  Дополнительные сведения см. в статье Настройка среды выполнения интеграции Azure-SSIS для обеспечения непрерывности бизнес-процессов и аварийного восстановления (BCDR)

• Локальная среда выполнения интеграции выполняется в управляемой инфраструктуре. Если локальная среда выполнения интеграции развертывается на виртуальной машине Azure, можно использовать Azure Site Recovery для активации отработки отказа виртуальной машины в другом регионе.

Фабрика данных Azure поддерживает CI/CD с помощью интеграции системы управления исходным кодом, что позволяет создавать резервные копии метаданных, связанных с экземпляром фабрики данных, и развертывать их в новой среде. Дополнительные сведения см. в статье "Непрерывная интеграция и доставка" в Фабрике данных Azure.

Соглашение об уровне обслуживания (SLA) для Фабрики данных Azure описывает ожидаемую доступность службы. Это соглашение также описывает условия, необходимые для достижения этого ожидания. Чтобы понять эти условия, убедитесь, что вы просматриваете соглашения об уровне обслуживания (SLA) для веб-служб.

• Надежность в Azure