Поделиться через


Планируйте управление затратами на Машинное обучение Microsoft Azure

В этой статье описывается планирование и управление затратами на Машинное обучение Azure. Во-первых, используйте калькулятор цен Azure для планирования затрат перед добавлением ресурсов. Затем просмотрите предполагаемые затраты при добавлении ресурсов Azure.

После начала использования Машинное обучение Azure ресурсов используйте функции управления затратами, чтобы задать бюджеты и отслеживать затраты. Кроме того, просмотрите прогнозируемые затраты и определите тенденции расходов, чтобы определить области, в которых может потребоваться действовать.

Учтите, что затраты на Машинное обучение Azure составляют только часть ежемесячных затрат в счете Azure. Если вы используете другие службы Azure, вы оплачиваете все службы и ресурсы Azure, используемые в подписке Azure, включая сторонние службы. В этой статье объясняется, как планировать затраты на Машинное обучение Azure и управлять ими. Познакомившись с управлением затратами на Машинное обучение Azure, примените аналогичные методы, чтобы управлять затратами для всех служб Azure, используемых в вашей подписке.

Дополнительные сведения об оптимизации затрат см. в статье "Управление и оптимизация затрат в Azure Machine Learning".

Предварительные требования

  • Анализ затрат в Microsoft Cost Management поддерживает большинство типов учетных записей Azure, но не все из них. Полный список поддерживаемых типов учетных записей см. в статье Understand Cost Management data (Интерпретация данных службы "Управление затратами").

  • Чтобы просмотреть данные о затратах, требуется по крайней мере доступ на чтение для учетной записи Azure. Сведения о назначении доступа к данным службы "Управление затратами" см. в этой статье.

Оценка затрат перед использованием Машинного обучения Azure

Используйте калькулятор цен Azure для оценки затрат перед созданием ресурсов в рабочей области Машинное обучение Azure. В левой части калькулятора цен выберите AI + Машинное обучение, а затем выберите Машинное обучение Azure, чтобы начать работу.

На следующем снимке экрана показан пример оценки затрат в калькуляторе цен:

Снимок экрана: пример предполагаемой стоимости в калькуляторе цен Azure.

При добавлении ресурсов в рабочую область вернитесь к этому калькулятору и добавьте тот же ресурс, чтобы обновить оценки затрат.

Дополнительные сведения см. в статье Цены для Машинного обучения Azure.

Освоение полной модели выставления счетов за Машинное обучение Azure

Машинное обучение Azure работает в инфраструктуре Azure, расходы на которую добавляются к затратам на Машинное обучение Azure при развертывании нового ресурса. Важно понимать, что дополнительная инфраструктура может начислять затраты. Эти затраты необходимо контролировать при внесении изменений в развернутые ресурсы.

Затраты, которые обычно сопровождают Машинное обучение Azure

При создании ресурсов для рабочей области Машинного обучения Azure также создаются ресурсы для других служб Azure. В их число входят:

  • Учетная запись базового уровня Azure Container Registry
  • Хранилище BLOB-объектов Azure (общего назначения версии 1)
  • Azure Key Vault
  • Azure Monitor

При создании вычислительного экземпляра виртуальная машина (ВМ) остается включенной, чтобы быть доступной для вашей работы.

  • Включите функцию завершения работы при простое, чтобы сократить затраты, когда виртуальная машина простаивает в течение указанного периода времени.
  • Или настройте расписание для автоматического запуска и остановки вычислительного экземпляра, чтобы сократить затраты, если вы не планируете использовать его.

Затраты могут начисляться и до удаления ресурсов

Перед удалением рабочей области Azure Machine Learning в портале Azure или с помощью Azure CLI, следующие подресурсы являются типичными затратами, которые накапливаются даже тогда, когда вы не работаете в рабочей области. Если вы планируете вернуться к рабочей области Azure Machine Learning позже, эти ресурсы могут продолжать генерировать затраты.

  • Виртуальные машины
  • Балансировщик нагрузки
  • Виртуальная сеть Azure
  • Пропускная способность

Плата за каждую виртуальную машину взимается за каждый час работы. Стоимость зависит от характеристик виртуальной машины. Виртуальные машины, которые запущены, но не активны, все равно оплачиваются через систему балансировки нагрузки. Для каждого вычислительного экземпляра взимается плата за один балансировщик нагрузки в день. На каждые 50 узлов вычислительного кластера взимается один стандартный балансировщик нагрузки. За каждый балансировщик нагрузки взимается около 0,33 доллара в день. Чтобы избежать затрат на подсистемы балансировки нагрузки по остановленным вычислительным экземплярам и кластерам, удалите вычислительный ресурс.

Вычислительные экземпляры также несут затраты на диск P10 даже в остановленном состоянии, так как любое содержимое пользователя, сохраненное там, сохраняется в остановленном состоянии, аналогичном виртуальным машинам Azure. Мы работаем над тем, чтобы сделать размер и тип диска ОС настраиваемыми для лучшего контроля затрат. Для виртуальных сетей Azure плата взимается за одну виртуальную сеть на каждую подписку и каждый регион. Виртуальные сети не могут охватывать регионы или подписки. Кроме того, при настройке частных конечных точек в виртуальной сети могут взиматься плата. Если виртуальная сеть использует брандмауэр Azure, она также может взимать плату. Плата за пропускную способность отражает использование; чем больше передаваемых данных, тем больше плата.

Совет

  • Использование управляемой виртуальной сети Azure Machine Learning бесплатно. Однако некоторые функции управляемой сети зависят от Azure Private Link (для реализации частных конечных точек) и Azure Firewall (для правил полного доменного имени), что влечет за собой расходы. Дополнительные сведения см. в разделе "Изоляция управляемой виртуальной сети".
  • Управляемые сетевые конечные точки используют виртуальные машины для развертываний. Если вы отправили запрос на создание онлайн развертывания и произошла ошибка, возможно, процесс дошел до этапа создания вычислительных ресурсов. В этом случае неудачное развертывание повлечет за собой расходы. Если вы завершили отладку или расследование сбоя, удалите неудачные развертывания, чтобы сэкономить затраты.

После удаления ресурсов могут произойти расходы

После удаления рабочей области Машинного обучения Azure на портале Azure или с помощью Azure CLI следующие ресурсы по-прежнему продолжают существовать. Затраты продолжают начисляться на них до их удаления.

  • Реестр контейнеров Azure
  • Хранилище BLOB-объектов Azure
  • Хранилище ключей
  • Application Insights

Чтобы удалить рабочую область вместе с этими зависимыми ресурсами, используйте пакет SDK.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

from azure.ai.ml.entities import Workspace
ml_client.workspaces.begin_delete(name=ws.name, delete_dependent_resources=True)

При создании Службы Azure Kubernetes (AKS) в рабочей области или при присоединении вычислительных ресурсов к рабочей области их необходимо удалить отдельно в портале Azure.

Использование кредита предоплаты Azure с Azure Machine Learning

Вы можете заплатить за расходы на Машинное обучение Azure с помощью кредита на предоплату Azure. Однако вы не можете использовать кредит на предоплату Azure для оплаты сторонних продуктов и служб, в том числе из Azure Marketplace.

Просмотр предполагаемых затрат на портале Azure

При создании вычислительных ресурсов для Машинного обучения Azure отображаются примерные затраты.

Чтобы создать вычислительный экземпляр и просмотреть оценочную цену:

  1. Войдите в Студия машинного обучения Azure.
  2. Слева выберите Вычисление.
  3. В верхней панели инструментов выберите +Создать.
  4. Просмотрите оценочную цену, указанную для каждого доступного размера виртуальной машины.
  5. Завершите создание ресурса.

Снимок экрана: предполагаемые затраты для создания вычислительного экземпляра.

Если для вашей подписки Azure установлена предельная сумма затрат, Azure не позволяет тратить средства свыше суммы кредита. При создании и использовании ресурсов Azure будут использоваться ваши кредиты. При достижении лимита кредитов развернутые ресурсы будут отключены на остаток расчетного периода. Ограничения для кредита изменить нельзя, но можно удалить сам лимит. Дополнительные сведения об ограничении затрат см. в статье Предельная сумма затрат в Azure.

Мониторинг затрат

Вы несете расходы на использование ресурсов Azure с помощью Azure Machine Learning. Затраты на единицу использования ресурсов Azure учитываются в зависимости от временных интервалов (секунды, минуты, часы и дни) или потребления на единицу измерения (байты, мегабайты и т. д.). С началом использования ресурсов Машинного обучения Azure начинает начисляться оплата и вы можете просмотреть затраты в разделе Анализ затрат.

С помощью функций анализа затрат можно просматривать расходы на использование службы Машинного обучения Azure в виде графиков и таблиц для различных интервалов времени. Например, можно отслеживать данные за день, текущий и предыдущий месяц и год. Вы также можете просматривать затраты по бюджету и прогнозируемые затраты. Чтобы выявить тенденции по затратам, можно выбрать представления затрат в динамике за более длительный срок. Это позволяет определить, где возможен перерасход средств. Если вы создаете бюджеты, вы также можете легко увидеть, где они превышены.

Чтобы просматривать затраты на Машинное обучение Azure в анализе затрат:

  1. Войдите на портал Azure.
  2. Откройте необходимую область портала Azure и выберите в меню пункт Анализ затрат. Например, перейдите к разделу Подписки, выберите подписку из списка и щелкните в меню Анализ стоимости. Выберите Область, чтобы перейти в другую область анализа затрат.
  3. По умолчанию затраты на услуги отображаются на первой кольцевой диаграмме. Выберите область диаграммы с меткой "Машинное обучение Azure".

Фактические затраты за месяц отображаются при первом открытии анализа затрат. Ниже приведен пример, показывающий все ежемесячные затраты на использование.

Снимок экрана: накопленные затраты на подписку.

Чтобы сократить затраты на отдельную службу, например Машинное обучение Azure, выберите Добавить фильтр и Имя службы. Затем выберите виртуальные машины.

Ниже приведен пример, показывающий затраты только на Машинное обучение Azure.

Снимок экрана: накопленные затраты для ServiceName.

В предыдущем примере показаны текущие затраты на службу. Также показаны затраты на регионы Azure (расположения) и затраты на Машинное обучение Azure по группам ресурсов. Здесь можно самостоятельно изучить затраты.

Создание бюджетов

Вы можете создать бюджеты, чтобы управлять затратами и создавать оповещения, которые автоматически уведомляют заинтересованные лица о нетипичных и чрезмерных затратах. Оповещения основываются на расходах по сравнению с пороговыми значениями бюджета и затрат. Бюджеты и оповещения создаются для подписок и групп ресурсов Azure, поэтому их рекомендуется использовать в рамках общей стратегии мониторинга затрат.

Бюджеты можно создавать с использованием фильтров для конкретных ресурсов или служб в Azure, если требуется дополнительная детализация результатов мониторинга. Фильтры помогают предотвратить случайное создание новых ресурсов, позволяя избежать дополнительных затрат. Дополнительные сведения о параметрах фильтра при создании бюджета см. в разделе Параметры группы и фильтра.

Экспорт данных о затратах

Можно также экспортировать данные о затратах в учетную запись хранения. Это полезно, если вам или другим людям необходимо провести дополнительный анализ данных о затратах. Например, специалисты по финансам могут анализировать данные с помощью Excel или Power BI. Можно экспортировать данные о затратах ежедневно, еженедельно или ежемесячно и задать настраиваемый диапазон дат. Экспорт данных по затратам — это рекомендуемый способ извлечения неагрегированных данных о затратах.

Другие способы управления затратами на Машинное обучение Azure и их сокращения

Нижеприведенные советы помогут вам управлять расходами на вычислительные ресурсы и эффективно их оптимизировать.

  • Настройте обучающие кластеры для автомасштабирования.
  • Настройте управляемые сетевые конечные точки для автоматического масштабирования.
  • Установите квоты для подписки и рабочих пространств.
  • Задайте политики завершения задания обучения.
  • Используйте виртуальные машины с низким приоритетом.
  • Запланируйте автоматическое завершение работы вычислительных экземпляров и запуск.
  • Используйте экземпляр зарезервированной виртуальной машины Azure.
  • Обучить локально.
  • Параллелизация обучения.
  • Задайте политики хранения и удаления данных.
  • Развертывание ресурсов в одном регионе.
  • Удалите экземпляры, кластеры и (или) сетевые развертывания, если вы не планируете использовать их в ближайшее время.
  • Удаление неудачных развертываний, если для них создаются вычислительные ресурсы.

Для получения дополнительной информации см. в разделе Управление и оптимизация затрат на Azure Машинное обучение.