руководство по производительности и масштабируемости для "Copy activity"

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Иногда требуется выполнить масштабную миграцию данных из озера данных или корпоративного хранилища данных (EDW) в Azure. В других случаях вы хотите получать большие объемы данных из разных источников в Azure для аналитики больших данных. В каждом случае важно обеспечить оптимальную производительность и масштабируемость.

конвейеры Azure Data Factory и Azure Synapse Analytics предоставляют механизм приема данных со следующими преимуществами:

• Обработка больших объемов данных
• Высокая производительность
• Экономически эффективна

Эти преимущества идеально подходят для специалистов по работе с данными, желающих создавать масштабируемые конвейеры приема данных с высокой производительностью.

Ознакомившись с данной статьей, вы сможете ответить на следующие вопросы.

• Какого уровня производительности и масштабируемости можно достичь с помощью действия копирования для переноса данных и сценариев приема данных?
• Какие действия следует предпринять для настройки производительности действия копирования?
• Какие оптимизации производительности можно использовать при выполнении одного действия копирования?
• Какие еще внешние факторы следует учитывать при оптимизации производительности копирования?

Копирование производительности и масштабируемости с помощью конвейеров Azure Data Factory и Synapse

Azure Data Factory и конвейеры Synapse предлагают бессерверную архитектуру, которая позволяет параллелизму на разных уровнях.

Эта архитектура позволяет разрабатывать конвейеры, которые обеспечивают максимальную пропускную способность перемещения данных для вашей среды. Эти конвейеры полностью используют следующие ресурсы.

• Пропускная способность сети между исходным и целевым хранилищами данных.
• Операции ввода-вывода в секунду и пропускная способность исходного и целевого хранилищ данных.

Благодаря такому полноценному использованию вы можете оценить общую пропускную способность, измеряя минимальную пропускную способность, доступную для следующих ресурсов.

• Исходное хранилище данных
• Целевое хранилище данных
• Пропускная способность сети между исходным и целевым хранилищами данных

В таблице ниже показан расчет продолжительности перемещения данных. Продолжительность в каждой ячейке вычисляется на основе заданной пропускной способности сети и хранилища данных и заданного размера полезных данных.

Копия масштабируется на разных уровнях:

• Поток управления может запускать несколько операций копирования параллельно, например с помощью цикла ForEach.

• Одно действие копирования может использовать масштабируемые вычислительные ресурсы.

  • При использовании среды выполнения интеграции Azure (IR) можно указать до 256 единиц интеграции данных (DIUs) для каждого действия копирования без сервера.
  • При использовании локальной среды IR можно использовать любой из следующих подходов:
    • Вручную увеличить производительность сервера.
    • Масштабировать на несколько компьютеров (до 4 узлов), при этом одно действие копирования будет разбивать файловый набор по всем узлам.

• Одно действие копирования считывает данные из хранилища данных и записывает их в него с помощью нескольких потоков параллельно.

Этапы настройки производительности

Выполните следующие действия, чтобы с помощью действия копирования настроить производительность службы.

1. Выберите тестовый набор данных и установите базовые показатели.

   Во время разработки протестируйте конвейер, используя действие копирования на репрезентативном образце данных. Выбранный набор данных должен соответствовать типичным шаблонам данных по следующим атрибутам.

   • Структура папок
   • Шаблон файлов
   • Схема данных

   И набор данных должен быть достаточно большим, чтобы оценить производительность копирования. Оптимальный объем данных должен быть таким, чтобы на его копирование потребовалось не менее 10 минут. Соберите сведения о процессе выполнения и характеристики производительности в ходе мониторинга действия копирования.

2. Как повысить производительность одного действия копирования

   Рекомендуется сначала повысить производительность с помощью одного действия копирования.

   • Если действие копирования выполняется в среде выполнения интеграции Azure:

     Начните со значений по умолчанию для параметров Единицы интеграции данных (DIU) и параллельного копирования.

   • Если действие копирования выполняется в локальной среде выполнения интеграции

     Для размещения IR мы рекомендуем использовать специально выделенный компьютер. Компьютер должен быть отделен от сервера, на котором размещено хранилище данных. Начните со значений по умолчанию для параметра параллельного копирования и используйте один узел для локальной среды IR.

   Выполните тест производительности. Запишите полученный уровень производительности. Включите фактические значения, например, DIU и параллельные копии. Сведения о том, как получить результаты выполнения и используемые параметры производительности, см. в статье Мониторинг действия копирования. Узнайте, как устранять неполадки с производительностью действий копирования, чтобы выявить и устранить узкие места.

   Проводите повторные тесты производительности в соответствии с руководством по устранению неполадок и настройке. Когда запуск однократного выполнения процесса копирования не приводит к улучшению пропускной способности, рассмотрите, как максимально увеличить агрегированную пропускную способность через одновременный запуск нескольких процессов. Этот вариант рассматривается в следующем пункте пронумерованного списка.

3. Как максимально увеличить общую пропускную способность, выполняя несколько действий копирования одновременно

   Пока вы максимально увеличили производительность одного действия копирования. Если вы еще не достигли максимальной пропускной способности среды, можно параллельно выполнять несколько действий копирования. Параллельное выполнение возможно с помощью конструкций потока управления. Одна из таких конструкций — цикл For Each. Дополнительные сведения о шаблонах решений вы найдете в следующих статьях:

   • Копирование файлов из нескольких контейнеров
   • Миграция данных из Amazon S3 в ADLS 2-го поколения
   • Массовое копирование с использованием контрольной таблицы

4. Расширьте эту конфигурацию на весь набор данных.

   Когда вы удовлетворены результатами выполнения и производительностью, вы можете расширить определение и конвейер, чтобы охватить весь набор данных.

Устранение проблем с производительностью операций копирования

Выполните шаги по настройке производительности, чтобы спланировать и провести тест производительности для своего сценария. Узнайте, как устранять проблемы производительности каждого выполнения действия копирования, в разделе Устранение проблем с производительностью действий копирования.

Функции для оптимизации производительности копирования

Служба предоставляет следующие возможности оптимизации производительности.

• Единицы интеграции данных
• Масштабируемость локальной среды выполнения интеграции
• Параллельная копия
• Поэтапное копирование

Единицы интеграции данных

Единица интеграции данных (DIU) — это мера, представляющая мощность одной единицы в конвейерах Azure Data Factory и Synapse. Мощность объединяет в себе ЦП, память и сетевые ресурсы. DIU применяется только к Azure среде выполнения интеграции. DIU не применяется к локальной среде выполнения интеграции. Дополнительные сведения см. здесь.

Масштабируемость локальной среды выполнения интеграции

Возможно, вам потребуется разместить возрастающую параллельную рабочую нагрузку Или вы можете захотеть добиться более высокой производительности на уровне текущей рабочей нагрузки. Увеличить масштаб обработки можно с помощью следующих подходов.

• Вы можете масштабировать вверх самостоятельно размещенный IR, увеличив количество одновременных заданий, которые могут выполняться на узле.
  Вертикальное масштабирование работает только в том случае, если процессор и память узла используются не полностью.
• Вы можете расширить самостоятельно размещенную IR, добавив дополнительные узлы (компьютеры).

Дополнительные сведения см. в разделе:

• Оптимизация производительности копирования активности: масштабируемость самостоятельно размещенной среды выполнения интеграции
• Создание и настройка локальной среды выполнения интеграции: рекомендации по масштабированию

Параллельное копирование

Вы можете задать свойство parallelCopies, чтобы указать желаемый параллелизм для действия копирования. Это свойство следует рассматривать как максимальное число потоков в рамках действия копирования. Потоки работают параллельно. Потоки либо читают из вашего исходного хранилища, либо записывают в ваш приемник данных. Подробнее.

поэтапное копирование

Операция копирования данных может отправить данные непосредственно в целевое хранилище данных. Кроме того, вы можете использовать хранилище BLOB-объектов в качестве временного промежуточного хранилища. Подробнее.

Связанный контент

См. другие статьи об операциях копирования:

• Обзор операции копирования
• Устранение проблем с производительностью операции копирования
• Функции оптимизации производительности для действия копирования
• Используйте Azure Data Factory для перемещения данных из озера данных или хранилища данных в Azure
• Переносите данные из Amazon S3 в Azure Storage