Поделиться через


Сценарий ценообразования с помощью задания копирования для загрузки 1 ТБ данных CSV в таблицу Lakehouse

В этом сценарии задание копирования использовалось для загрузки 1 ТБ csv-данных, хранящихся в Azure Data Lake Storage (ADLS) 2-го поколения в таблицу Lakehouse в Microsoft Fabric.

Цены, используемые в следующем примере, являются гипотетическими и не намерены подразумевать точные фактические цены. Это просто для демонстрации того, как можно оценить, спланировать и управлять затратами на проекты Фабрики данных в Microsoft Fabric. Кроме того, так как емкости Fabric имеют уникальную цену в разных регионах, мы используем модель ценообразования "оплата по мере использования" для емкости Fabric в регионе "US West 2" (типичный регион Azure) по 0,18 долл. США за CU в час. См. раздел Цены на Microsoft Fabric, чтобы изучить другие варианты ценообразования для емкости Fabric.

Configuration

Чтобы выполнить этот сценарий, необходимо создать задание копирования со следующими конфигурациями:

  1. Отправьте 1 ТБ-файлы CSV в учетную запись ADLS 2-го поколения.
  2. Создайте и запустите задание копирования с помощью встроенного режима добавочного копирования, чтобы переместить 1 ТБ-файлы в Fabric Lakehouse.
  3. Отправьте дополнительный CSV-файл размером 1 ГБ в ту же учетную запись ADLS 2-го поколения.
  4. Снова запустите задание копирования, и он автоматически обнаруживает и копирует только этот новый файл.

Оценка затрат с помощью приложения метрик Fabric

Первый запуск задания копирования выполняет начальную полную копию, а последующие запуски копируют только новые или измененные файлы с помощью добавочной копии.

Снимок экрана, показывающий длительность и использование CU задачи копирования в приложении Fabric Metrics.

Полная копия

Начальная полная копия с операцией перемещения данных использовала 253 440 секунд CU с длительностью 626,64 секунды.

Цены основаны на используемой оптимизации интеллектуальной пропускной способности. Дополнительные сведения см. в этой статье. В этом примере использована интеллектуальная оптимизация пропускной способности с параметром 256.

Используемые секунды CU можно получить с помощью следующего вычисления:

Согласно модели ценообразования на копирование заданий, каждая единица интеллектуальной оптимизации пропускной способности потребляет 1,5 часа CU для полной копии. Учитывая, что используется интеллектуальная оптимизация пропускной способности с параметром 256, а длительность операции перемещения данных составляет 626,64 секунды (приблизительно 11 минут), общее количество использованных часов CU составит:

Использованные часы CU = 256 * 1,5 * (11/60) = 70,4

Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).

Использованные секунды CU = 70,4 * 3600 = 253 440

Добавочное копирование

Инкрементная копия с перемещением данных — операция инкрементного копирования использовала 720 CU секунд при продолжительности 40,48 секунд.

Цены также основаны на используемой интеллектуальной оптимизации пропускной способности. В этом примере используется оптимизация интеллектуальной пропускной способности 4.

Используемые секунды CU можно получить с помощью следующего вычисления:

Согласно модели ценообразования копировальной задачи, каждая единица интеллектуальной оптимизации пропускной способности потребляет 3 CU-часы для инкрементного копирования. Учитывая, что используется интеллектуальная оптимизация пропускной способности, равная 4, а перемещение данных — длительность операции инкрементного копирования составляет 40,48 секунды (приблизительно 1 минуту), общее количество используемых часов CU будет:

Использованные часы CU = 4 * 3 * (1/60) = 0,2

Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).

Использованные секунды CU = 0,2 * 3600 = 720

Note

Хотя фактическое время выполнения отображается как метрика, оно не имеет значения при расчёте эффективных часов CU с приложением Fabric Metrics, поскольку метрика CU в секундах, которую она также сообщает, уже учитывает его длительность.

Total

Metric Consumption
Секунды вычислительных единиц перемещения данных 253 440 CU секунд
Перемещение данных — инкрементное копирование CU-секунды 720 секунд CU

Общая стоимость работы по $0.18/CU час = (253 440 + 720) / (60*60) CU-часов * ($0.18/CU час) = $12.708