Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Иногда требуется выполнить масштабную миграцию данных из озера данных или корпоративного хранилища данных (EDW) в Fabric OneLake. В других случаях вы хотите получать большие объемы данных из разных источников в Fabric OneLake для аналитики больших данных. В каждом случае крайне важно обеспечить оптимальную производительность и масштабируемость.
Конвейеры фабрики данных предоставляют механизм приема данных со следующими преимуществами:
- Обработка больших объемов данных
- Высокая производительность
- Экономия
Эти преимущества идеально подходят для специалистов по работе с данными, желающих создавать масштабируемые конвейеры приема данных с высокой производительностью.
После прочтения этой статьи вы сможете ответить на следующие вопросы:
- Какого уровня производительности и масштабируемости можно достичь с помощью действия копирования для переноса данных и сценариев приема данных?
- Какие действия следует предпринять для настройки производительности действия копирования?
- Какие оптимизации производительности можно использовать при выполнении одного действия копирования?
- Какие еще внешние факторы следует учитывать при оптимизации производительности копирования?
Копирование производительности и масштабируемости с помощью конвейеров фабрики данных
Конвейеры фабрики данных предлагают бессерверную архитектуру, которая позволяет параллелизму на разных уровнях.
Эта архитектура позволяет разрабатывать конвейеры, которые обеспечивают максимальную пропускную способность перемещения данных для вашей среды. Эти конвейеры полностью используют следующие ресурсы.
- Пропускная способность сети между исходным и целевым хранилищами данных.
- Операции ввода-вывода в секунду и пропускная способность исходного и целевого хранилищ данных.
Благодаря такому полноценному использованию вы можете оценить общую пропускную способность, измеряя минимальную пропускную способность, доступную для следующих ресурсов.
- Исходное хранилище данных
- Целевое хранилище данных
- Пропускная способность сети между исходным и целевым хранилищами данных
Копия масштабируется на разных уровнях:
- Поток управления может запускать несколько действий копирования параллельно, например с помощью цикла For Each.
- Одно действие копирования может воспользоваться масштабируемыми вычислительными ресурсами.
- Вы можете указать максимальную оптимизацию интеллектуальной пропускной способности для каждого действия копирования без сервера.
- Одно действие копирования считывает и записывает данные в хранилище данных с помощью нескольких потоков параллельно.
Функции для оптимизации производительности копирования
Служба предоставляет следующие возможности оптимизации производительности.
Интеллектуальная оптимизация пропускной способности
Интеллектуальная оптимизация пропускной способности позволяет службе оптимизировать пропускную способность интеллектуально, сочетая факторы выделения ресурсов ЦП, памяти и сетевого ресурса и ожидаемые затраты на выполнение одного действия копирования. Допустимые параметры для интеллектуального выполнения действия копирования: auto, Standard, Balanced, Maximum. Можно также указать значение от 4 до 256.
В следующей таблице перечислены рекомендуемые значения в разных сценариях копирования:
| значение | Описание |
|---|---|
| Автоматически | Разрешите службе динамически применять оптимальную оптимизацию пропускной способности на основе пары исходного назначения и шаблона данных. |
| Стандартные | Разрешите службе динамически применять оптимизацию пропускной способности в стандартных вычислительных ресурсах на основе пары исходного назначения и шаблона данных. |
| Balanced | Разрешите службе динамически применять оптимизацию пропускной способности, которая балансирует пропускную способность и доступные вычислительные ресурсы на основе пары исходного назначения и шаблона данных. |
| Максимум | Разрешите службе динамически применять оптимизацию пропускной способности, используя максимально доступные вычислительные ресурсы на основе пары исходного назначения и шаблона данных. |
Параллельное копирование
Вы можете задать параметр "Степень параллелизма копирования" на вкладке "Параметры" действие Copy, чтобы указать параллелизм, который будет использоваться действие копирования. Это свойство следует рассматривать как максимальное число потоков в рамках действия копирования. Потоки работают параллельно. Потоки либо считываются из источника, либо записываются в конечные хранилища данных.
Параллельная копия является ортогональной для параметра оптимизации интеллектуальной пропускной способности. Для каждого запуска действия копирования по умолчанию служба динамически применяет оптимальный параметр параллельного копирования на основе пары исходного назначения и шаблона данных.
Чтобы контролировать нагрузку на компьютеры, в которых размещаются хранилища данных, или настроить производительность копирования, можно переопределить значение по умолчанию и указать значение для степени параллелизма копирования. Значение должно быть целым числом больше или равно 1. Во время выполнения действия Copy для достижения наилучшей производительности выбирается значение, меньшее или равное заданному.