Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этом сценарии задание копирования использовалось для загрузки 1 ТБ csv-данных, хранящихся в Azure Data Lake Storage (ADLS) 2-го поколения в таблицу Lakehouse в Microsoft Fabric.
Цены, используемые в следующем примере, являются гипотетическими и не намерены подразумевать точные фактические цены. Это просто для демонстрации того, как можно оценить, спланировать и управлять затратами на проекты Фабрики данных в Microsoft Fabric. Кроме того, так как емкости Fabric имеют уникальную цену в разных регионах, мы используем модель ценообразования "оплата по мере использования" для емкости Fabric в регионе "US West 2" (типичный регион Azure) по 0,18 долл. США за CU в час. См. раздел Цены на Microsoft Fabric, чтобы изучить другие варианты ценообразования для емкости Fabric.
Модель ценообразования на задание копирования имеет два шаблона копирования с разными тарифами потребления: полная копия (1,5 часов CU на единицу интеллектуальной оптимизации пропускной способности) и добавочная копия (3 часа CU на единицу интеллектуальной оптимизации пропускной способности). В этой статье рассматриваются два сценария, чтобы понять, когда применяется каждая ставка:
- Сценарий 1. Режим добавочного копирования — используйте это, когда необходимо синхронизировать назначение с источником с течением времени. Как первоначальная полная загрузка, так и последующие инкрементальные запуски тарифицируются по тарифу инкрементального копирования.
- Сценарий 2: Полное копирование без изменений — используйте этот вариант, если вам требуется только однократное полное копирование или регулярная полная повторная загрузка снимка. Каждый запуск оплачивается по полному тарифу за копирование.
Сценарий 1. Режим добавочного копирования
Configuration
Чтобы выполнить этот сценарий, необходимо создать задание копирования со следующими конфигурациями:
- Отправьте 1 ТБ-файлы CSV в учетную запись ADLS 2-го поколения.
- Создайте и запустите задание копирования с помощью встроенного режима добавочного копирования, чтобы переместить 1 ТБ-файлы в Fabric Lakehouse.
- Отправьте дополнительный CSV-файл размером 1 ГБ в ту же учетную запись ADLS 2-го поколения.
- Снова запустите задание копирования, и он автоматически обнаруживает и копирует только этот новый файл.
Первый запуск задания копирования выполняет начальную полную копию, а последующие запуски копируют только новые или измененные файлы с помощью добавочной копии.
Начальная полная копия
Согласно оценке затрат с помощью приложения Fabric Metrics, первоначальное полное копирование с перемещением данных — операция инкрементального копирования — использовало 506 880 CU-секунд при длительности 626,64 секунды.
Цены основаны на используемой оптимизации интеллектуальной пропускной способности. Дополнительные сведения см. в этой статье. В этом примере использована интеллектуальная оптимизация пропускной способности с параметром 256.
Используемые секунды CU можно получить с помощью следующего вычисления:
Согласно модели ценообразования копировальной задачи, каждая единица интеллектуальной оптимизации пропускной способности потребляет 3 CU-часы для инкрементного копирования. Эта ставка также применяется к начальной полной нагрузке в режиме добавочного копирования. Учитывая, что значение интеллектуальной оптимизации пропускной способности равно 256, а длительность операции инкрементального копирования при перемещении данных составляет 626,64 секунды (приблизительно 11 минут), общее количество использованных CU-часов составит:
Использованные часы CU = 256 * 3 * (11/60) = 140,8
Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).
Использованные секунды CU = 140,8 * 3600 = 506 880
Последующее добавочное копирование
Последующая инкрементальная копия с перемещением данных — операция инкрементального копирования использовала 720 CU-секунд при длительности 40,48 секунды.
Цены также основаны на используемой интеллектуальной оптимизации пропускной способности. В этом примере используется оптимизация интеллектуальной пропускной способности 4.
Используемые секунды CU можно получить с помощью следующего вычисления:
Согласно модели ценообразования копировальной задачи, каждая единица интеллектуальной оптимизации пропускной способности потребляет 3 CU-часы для инкрементного копирования. Учитывая, что используется интеллектуальная оптимизация пропускной способности, равная 4, а перемещение данных — длительность операции инкрементного копирования составляет 40,48 секунды (приблизительно 1 минуту), общее количество используемых часов CU будет:
Использованные часы CU = 4 * 3 * (1/60) = 0,2
Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).
Использованные секунды CU = 0,2 * 3600 = 720
Note
Хотя фактическое время выполнения отображается как метрика, оно не имеет значения при расчёте эффективных часов CU с приложением Fabric Metrics, поскольку метрика CU в секундах, которую она также сообщает, уже учитывает его длительность.
Total
| Metric | Consumption |
|---|---|
| Перемещение данных — CU-секунды инкрементального копирования (начальное полное копирование) | 506 880 CU-секунд |
| Перемещение данных — инкрементальное копирование в секундах CU (последующее инкрементальное копирование) | 720 секунд CU |
Общая стоимость запуска при $0,18 за CU-час = (506,880 + 720) / (60*60) CU-часов * ($0,18 за CU-час) = $25,38
Сценарий 2. Чистая полная копия
Используйте чистую полную копию, если необходимо скопировать данные только один раз или когда каждый запуск должен перезаписать место назначения с полным свежим моментальным снимком. Каждый запуск оплачивается из расчёта полного тарифа на копирование: 1,5 CU-часа за единицу интеллектуальной оптимизации пропускной способности.
Configuration
Чтобы выполнить этот сценарий, необходимо создать задание копирования со следующими конфигурациями:
- Отправьте 1 ТБ-файлы CSV в учетную запись ADLS 2-го поколения.
- Создайте и запустите задание копирования с помощью встроенного полного режима копирования, чтобы переместить 1 ТБ-файлы в Fabric Lakehouse.
Оценка затрат с помощью приложения метрик Fabric
Задание копирования выполняет однократную полную загрузку всех 1 ТБ исходных данных в Lakehouse.
Полная копия
При полном копировании с использованием операции перемещения данных было использовано 253 440 секунд CU, а длительность составила 626,64 секунды.
Цены основаны на используемой оптимизации интеллектуальной пропускной способности. Дополнительные сведения см. в этой статье. В этом примере использована интеллектуальная оптимизация пропускной способности с параметром 256.
Используемые секунды CU можно получить с помощью следующего вычисления:
Согласно модели ценообразования на копирование заданий, каждая единица интеллектуальной оптимизации пропускной способности потребляет 1,5 часа CU для полной копии. Учитывая, что используется интеллектуальная оптимизация пропускной способности с параметром 256, а длительность операции перемещения данных составляет 626,64 секунды (приблизительно 11 минут), общее количество использованных часов CU составит:
Использованные часы CU = 256 * 1,5 * (11/60) = 70,4
Чтобы преобразовать часы CU в секунды CU, умножьте на 3600 (количество секунд в час).
Использованные секунды CU = 70,4 * 3600 = 253 440
Note
Хотя фактическое время выполнения отображается как метрика, оно не имеет значения при расчёте эффективных часов CU с приложением Fabric Metrics, поскольку метрика CU в секундах, которую она также сообщает, уже учитывает его длительность.
Total
| Metric | Consumption |
|---|---|
| Секунды перемещения данных (полная копия) | 253 440 CU секунд |
Общая стоимость выполнения при $0,18 за CU-час = 253 440 / (60*60) CU-часов * ($0,18/CU-час) = $12,67