Поделиться через

Сценарий ценообразования с помощью конвейера для загрузки 1 ТБ данных Parquet в хранилище данных

В этом сценарии операция копирования использовалась в конвейере для загрузки 1 ТБ данных таблицы Parquet, хранящихся в Azure Data Lake Storage (ADLS) Gen2, в хранилище данных Microsoft Fabric.

Цены, используемые в следующем примере, являются гипотетическими и не намерены подразумевать точные фактические цены. Это просто для демонстрации того, как можно оценить, спланировать и управлять затратами на проекты Фабрики данных в Microsoft Fabric. Кроме того, так как емкости Fabric имеют уникальную цену в разных регионах, мы используем плату по мере использования для емкости Fabric в регионе Запад США 2 (типичный регион Azure) по 0,18 долл. США за CU в час. Ссылка на Microsoft Fabric - Цены, чтобы изучить другие варианты ценообразования на емкость Fabric.

Конфигурация

Чтобы выполнить этот сценарий, необходимо создать конвейер со следующей конфигурацией:

снимок экрана, показывающий конфигурацию конвейера копирования данных Parquet из ADLS 2-го поколения в хранилище данных.

Оценка затрат с помощью приложения метрик Fabric

Снимок экрана, показывающий длительность и потребление CU задания в приложении Fabric Metrics.

Операция перемещения данных использовала 3960 секунд вычислительных единиц с продолжительностью 662,64 секунды, в то время как операция выполнения действия была отсутствующей, поскольку в выполнении конвейера не было никаких некопировальных действий.

Ценообразование основывается на используемой интеллектуальной оптимизации пропускной способности, которая зависит от ее настроенного максимума в операции копирования. Его можно получить из выходных данных действия под usedDataIntegrationUnits. Дополнительные сведения см. в этой статье. В этом примере используется оптимизация интеллектуальной пропускной способности 4.

Используемые секунды CU можно получить с помощью следующего вычисления:

В соответствии с моделью ценообразования конвейера каждая единица пропускной способности интеллектуальной оптимизации потребляет 1,5 часа CU. Учитывая использование оптимизации интеллектуальной пропускной способности, равное 4, а длительность операции перемещения данных составляет 662,64 секунды (приблизительно 11 минут), общее количество используемых часов CU будет:

Использованные часы CU = 4 * 1,5 * (11/60) = 1.1

Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).

Использованные секунды CU = 1,1 * 3600 = 3960

Заметка

Хотя фактическое время выполнения отображается как метрика, оно не имеет значения при расчёте эффективных часов CU с приложением Fabric Metrics, поскольку метрика CU в секундах, которую она также сообщает, уже учитывает его длительность.

Метрика Операция перемещения данных
Секунды cu 3 960 CU секунд
Эффективные часы CU (3960) / (60*60) CU-часы = 1.1 CU-часы

Общая стоимость выполнения при $0,18/час CU = (1,1 час CU) * ($0,18/час CU) ~= $0,20

Связанное содержимое

  • Last updated on