Обновления предложений управляемых услуг, развернутых в Azure OpenAI

Корпорация Майкрософт представила улучшения в своем предложении по Provisioned Throughput, которые основаны на отзывах клиентов и касаются удобства использования и оперативной гибкости, что открывает новые варианты оплаты и сценарии развертывания.

Эта статья предназначена для существующих пользователей предоставленной пропускной способности. Новые клиенты должны ссылаться на подготовленное руководство по подключению Azure OpenAI.

Что изменяется?

Повышение удобства использования

Новая почасовая или резервная коммерческая модель

Сведения об улучшении удобства использования

Степень детализации предоставляемой квоты изменяется от модели-зависимой к модели-независимой. Вместо того чтобы у каждой модели и версии в рамках подписки и региона было собственное ограничение квоты, существует один элемент квоты для каждой подписки и региона, который ограничивает общее количество ПТЕ, которые можно развернуть среди всех поддерживаемых моделей и версий.

Квоты, не зависящие от модели

По состоянию на 12 августа 2024 г. текущая, зависящая от модели квота для существующих клиентов была преобразована в независимую от модели. Этот процесс выполняется автоматически. Квота не теряется в процессе перехода. Существующие ограничения квоты суммируются и назначаются новому элементу квоты, независимому от модели.

Новая квота, независимая от модели, отображается как элемент квоты с именем "Предоставленная единица управляемой пропускной способности", при этом модель и версия больше не включаются в имя. В панели квоты Azure AI Foundry расширение элемента квоты по-прежнему отображает все развертывания, которые относятся к элементу квоты.

Квота по умолчанию

Новые и существующие подписки получают небольшую часть предусмотренной квоты во многих регионах. Это позволяет клиентам начать использовать эти регионы, не выполняя первый запрос квоты.

Для существующих клиентов, если регион уже содержит назначение квоты, ограничение квоты не изменяется для региона. Например, он не увеличивается автоматически на новую сумму по умолчанию.

Запросы на квоту самообслуживания

Клиенты больше не получают квоту, обращаясь к своим группам продаж. Вместо этого они используют форму запроса квоты самообслуживания и указывают тип квоты, управляемый PTU. Форма доступна из ссылки справа от элемента квоты. Цель — ответить на все запросы квот в течение двух рабочих дней.

На следующем снимках экрана квоты показана независимая от модели квота, используемая развертываниями различных типов, и ссылка на запрос дополнительной квоты.

Квота в качестве предела

До августовского обновления Azure OpenAI Provisioned была доступна только некоторым пользователям, и квота распределялась таким образом, чтобы максимально повысить их способность к развертыванию и использованию сервиса. При этих изменениях процесс получения квоты упрощается для всех пользователей, и при попытке развертывания существует большая вероятность столкнуться с ограничениями емкости сервиса. Новый интерфейс API и портала доступен для поиска регионов, где подписка имеет квоту, и служба имеет емкость для поддержки развертываний требуемой модели.

Мы также рекомендуем клиентам, использующим обязательства, сначала создать свои развертывания, а затем создавать или расширять обязательства для их покрытия. Это гарантирует, что емкость доступна перед созданием обязательства и предотвращает чрезмерную покупку обязательства. Для поддержки этого, ограничение, которое не позволяло развертываниям превышать предусмотренные обязательства, было удалено. Этот новый подход к квотам, доступности ресурсов и обязательствам соответствует тому, что предоставляется в модели почасовой оплаты/резервирования, а руководство по развертыванию перед приобретением обязательства (или резервирования для почасовой модели) одинаково для обоих случаев.

Дополнительные сведения см. в следующих статьях: Рекомендации по резервированиям и обязательствам одинаковы:

• Прозрачность емкости
• Изменение размера резервирований

Новая модель оплаты почасового резервирования

Корпорация Майкрософт представила новую модель оплаты почасового или резервирования для подготовленных развертываний. Это в дополнение к текущей модели оплаты обязательств , которая будет продолжать поддерживаться до конца срока действия поддерживаемого в настоящее время ограниченного списка моделей. Ознакомьтесь с перечнем поддерживаемых моделей в модели оплаты обязательств. Вы также можете приобрести зарезервированные ресурсы Azure для получения дополнительных скидок.

Новые резервирования Azure для глобальных и выделенных зон размещения данных

Помимо обновлений почасовой модели оплаты, в декабре 2024 года были представлены новые резервирования Azure специально для глобальных и подготовленных типов развертывания зоны данных. При использовании этих новых резервирований Azure каждый подготовленный тип развертывания будет иметь отдельное резервирование Azure, которое можно приобрести для поддержки дополнительных скидок. Сопоставление между каждым подготовленным типом развертывания и соответствующим резервированием Azure выглядит следующим образом:

Модель оплаты обязательств

• Региональное ежемесячное обязательство требуется для использования предоставленных ресурсов (более длительные условия могут быть согласованы в рамках договора).

• Обязательства привязаны к ресурсам Azure OpenAI, что затрудняет перемещение развертываний между ресурсами.

• Обязательства не могут быть отменены или изменены во время их срока, за исключением добавления новых PTU.

Поддерживаемые модели для модели оплаты обязательств:

В рамках обязательств поддерживаются только следующие модели Azure OpenAI. Сведения о включении любых других моделей, которые не указаны в приведенном ниже списке, или о любых новых моделях с гарантированной пропускной способностью, см. руководство по включению Azure OpenAI и резервирование Azure для подготовленных развертываний Azure OpenAI.

Модель оплаты почасового резервирования

• Модель оплаты соответствует стандартам Azure для других продуктов.

• Почасовое использование поддерживается без обязательств.

• Скидки на один месяц и один год можно приобрести в качестве региональных резервирований Azure.

• Резервирования можно гибко ограничить для покрытия нескольких подписок, а область может быть изменена в середине срока.

• Поддерживает все модели, как старые, так и новые.

Платформа модели оплаты

При выпуске почасовой или зарезервированной модели оплаты варианты оплаты являются более гибкими и модель вокруг подготовленных платежей изменилась. Когда единственным способом приобретения предоставленных услуг были одномесячные обязательства, модель была:

1. Получите квоту PTU от вашей команды по работе с клиентами Майкрософт.
2. Приобретите квоту из обязательства на ресурсе, где вы хотите развернуть.
3. Создайте развертывания на ресурсе до предела обязательства.

Ключевое различие между этой моделью и новой моделью заключается в том, что ранее единственным способом оплаты за предоставленные услуги была скидка на одномесячный срок. Теперь вы можете развертывать и оплачивать развертывания почасово, если выберете этот вариант, и отдельно решить, следует ли предоставлять скидку через либо одномесячное обязательство (как раньше), либо через резервирование Azure.

С учетом этой информации новый подход к моделям оплаты:

1. Получите квоту PTU через форму самообслуживания.
2. Создайте развертывания, используя свою квоту.
3. При необходимости приобрести или продлить обязательство или резервирование, чтобы применить скидку на срок к развертываниям.

Шаги 1 и 2 одинаковы во всех случаях. Разница заключается в том, используется ли обязательство или резервирование Azure в качестве транспортного средства для предоставления скидки. В обеих моделях:

• Вы можете развернуть больше ПТУ, чем прогнозируете. (например, создание краткосрочного развертывания для опробования новой модели возможно благодаря развертыванию без покупки скидки)

• Метод скидки (ангажемент или резервирование) применяет скидку к фиксированному количеству PTUs и имеет область, которая определяет развертывания, учитываемые по скидке.

  Тип скидки	Доступные области (в пределах региона)
  Обязательство	Ресурс Azure OpenAI
  Резервирование	Группа ресурсов, отдельная подписка, группа управления (группа подписок), общая (все подписки в учетной записи выставления счетов)

• Скидка применяется к развернутым PTUs в количестве, соответствующем количеству PTUs, на которые распространяется скидка.

• Количество развернутых ПТУ, превышающее количество ПТУ, на которые распространяется скидка (или не покрытое какой-либо скидкой), будет облагаться почасовой ставкой.

• Наилучшей практикой является сначала создавать развертывания, а затем применять скидки. Это гарантирует оказание услуги. емкость доступна для поддержки ваших развертываний до создания срочного соглашения для PTU, которые нельзя использовать.

Сопоставление развертываний с методом скидки

Клиенты, использующие подготовленное предложение Azure OpenAI до августа 2024 г., могут использовать обе модели оплаты одновременно в подписке. Модель оплаты, используемая для каждого развертывания, определяется на основе ресурса Azure OpenAI:

Ресурс имеет активное обязательство

• Обязательство предоставляет скидку на все развертывание на ресурсе вплоть до количества PTUs, предусмотренного обязательством. Плата за любые избыточные ПТП взимается почасово, если только избыточные ПТП не входят в сферу активного резервирования. Если избыточные PTUs существуют в сфере активного резервирования, они будут учтены как группа, до количества PTUs на резервировании, и вся оставшаяся избыточная часть по-прежнему будет выставляться по часам.

Ресурс не имеет активного обязательства

• Развертывания под ресурсом могут получать скидку при резервировании в Azure. Чтобы эти развёртывания учитывались с скидкой, они должны существовать в пределах действующей брони. Все развертывания в рамках резервирования (включая, возможно, развертывания на других ресурсах в той же или другой подписке) будут предоставляться со скидкой в виде группы в пределах количества PTUs, предусмотренных в резерве. Любые избыточные ПТП будут оплачиваться почасово.

Изменения существующего режима оплаты

Клиенты, имеющие обязательства на сегодняшний день, могут продолжать использовать их как минимум до вывода поддерживаемой модели. К ним относятся приобретение новых устройств передачи мощности по новым или существующим обязательствам и управление продлением обязательств. Однако обновление в августе изменило некоторые аспекты операции обязательств.

• Azure OpenAI прекратила поддержку регистрации на новые обязательства, начиная с 1 августа 2024 г.

• На ресурсе с обязательством может быть развернут лишь ограниченный набор моделей. Ниже приведен список моделей

• Если развернутые ПТП в соответствии с обязательством превышают зафиксированные ПТП, плата за почасовые переборы взымается в отношении того же почасового счетчика, что и для новой модели почасовой или резервной оплаты. Это позволяет уменьшить сверх издержки через резервирование Azure.

• Можно развернуть больше PTU, чем предусмотрено в ресурсах. Это поддерживает возможность гарантировать доступность емкости перед увеличением размера обязательств, чтобы покрыть ее.

Перенос существующих ресурсов с обязательств

Существующие клиенты могут перенести свои текущие ресурсы из модели оплаты на основе обязательств на модель почасовой оплаты или резервирования, чтобы получить преимущество в виде возможности развертывания последних моделей или объединить скидки для различных развертываний в рамках одного резервирования.

Доступны два подхода для клиентов, чтобы перенести ресурсы из модели обязательств в модель почасовой оплаты или резервирования.

Самостоятельная миграция

Подход к самостоятельной миграции позволяет клиенту естественным образом сокращать свои обязательства, давая им возможность истекать. Процесс переноса ресурса выглядит следующим образом:

• Задайте существующее обязательство не автоматически и запишите дату окончания срока действия.

• До истечения срока действия клиент должен приобрести резерв Azure, охватывающий общее количество подтвержденных ПТЕ на подписку. Если существующее резервирование уже имеет подписку в рамках данной, ее размер может быть увеличен, чтобы покрыть новые ПТЕ.

• По истечении срока действия условий развертывания под ресурсом автоматически переключаются на почасовой режим или режим резервирования со скидкой на использование за счет резервирования.

Этот подход к самостоятельной миграции приведет к одновременному существованию, когда резерв и обязательства являются активными. Это характерная черта этого режима миграции, а время резервирования или время выполнения обязательств для этого временного пересечения не будет возвращено клиенту.

Альтернативный подход к самостоятельной миграции заключается в изменении времени покупки резервирования, чтобы она происходила после истечения срока обязательства. В этом подходе развертывания будут осуществлять почасовое использование в течение периода между истечением срока действия обязательства и покупкой резервирования. Как и в предыдущей модели, это характерная особенность этого подхода, и это почасовое использование не будет засчитываться.

Преимущества самостоятельной миграции:

• Отдельные ресурсы можно перенести в разное время.
• Клиенты управляют миграцией без каких-либо зависимостей от Корпорации Майкрософт.

Недостатки самостоятельной миграции:

• Во время перехода будет короткий период двойного выставления счетов или почасовой оплаты при переключении с фиксированной на почасовую или резервную оплату.

Управляемая миграция

Подход к управляемой миграции включает в себя партнерские отношения с корпорацией Майкрософт для массовой миграции всех обязательств PTU в подписке или регионе одновременно. Происходит это так:

1. Клиент обратится к своей команде по работе с учетными записями и запросит управляемую миграцию. Специалист из команды Майкрософт будет назначен для помощи клиенту с миграцией.
2. Дата будет выбрана, когда все ресурсы в каждой из подписок и регионов клиентов, содержащие текущие обязательства PTU, будут перенесены из модели с обязательствами на модель почасового или резервного выставления счетов. На одну дату можно перенести несколько подписок и регионов.
3. По согласованной дате:
   • Клиент приобретет региональные резервы для покрытия закрепленных ПТУ, которые будут преобразованы, и передаст сведения о резервировании своему контактному лицу по миграции в Microsoft.
   • В течение 2–3 рабочих дней все обязательства будут заранее отменены, а развертывания, ранее находящиеся под обязательствами, начнут использовать почасовую/резервную модель оплаты.
   • В расчетном периоде, следующем за покупкой резервирования, клиент получит компенсацию за покупку резервирования, покрывающую части обязательств, которые были отменены, начиная с момента покупки резервирования.

Клиенты должны обратиться к группам учетных записей, чтобы запланировать управляемую миграцию.

Преимущества управляемой миграции:

• Массовая миграция всех обязательств в подписке или регионе полезна для клиентов с множеством обязательств.
• Бесшовная миграция затрат: нет возможности двойного начисления или дополнительной почасовой оплаты.

Недостатки управляемой миграции:

• Все обязательства в подписке или регионе должны переноситься одновременно.
• Требуется координировать время миграции с командой Майкрософт.

Перенос существующих развертываний в глобальную или настроенную зону данных.

Существующие клиенты подготовленных развертываний могут перейти на глобальные или подготовленные зоны данных развертывания, чтобы воспользоваться более низкими минимальными значениями развертывания, детализацией масштабирования или дифференцируемыми ценами, доступными для этих типов развертывания. Дополнительные сведения о том, как глобальные и подготовленные зоны данных обрабатывают обработку данных в географических регионах Azure, см. в документации по обработке данных развертывания Azure OpenAI.

Два подхода доступны клиентам для миграции из подготовленных развертываний в глобальные или подготовленные зоны данных.

Миграция без простоев

Подход к миграции без простоя позволяет клиентам переносить существующие развернутые среды в глобальные или развертывания в подготовленные зоны данных без прерывания существующего инференс-трафика в их развертывании. Этот подход миграции сводит к минимуму прерывания рабочей нагрузки, но требует от клиента нескольких сосуществующих развертываний при перемещении трафика. Процедура переноса подготовленного развертывания с использованием метода миграции без простоя выглядит следующим образом:

• Создайте новое развертывание с помощью глобальных или подготовленных типов развертывания зоны данных в целевом ресурсе Azure OpenAI.
• Перенаправление трафика с существующего уровня развертывания в региональном масштабе на новосозданное глобальное или зональное развертывание данных до тех пор, пока весь трафик не будет перенесен с существующего регионального уровня развертывания.
• После переноса трафика в новое развертывание убедитесь, что в предыдущем развертывании нет запросов инференции, проверив, что в метрике запросов Azure OpenAI не отображаются вызовы API в течение 5–10 минут после миграции трафика инференции в новое развертывание. Дополнительные сведения об этой метрии см. в документации по Мониторингу Azure OpenAI.
• Убедившись, что вызовы вывода не были сделаны, удалите региональное подготовленное развертывание.

Миграция с перерывом в работе

Миграция с подходом простоя включает перенос существующих подготовленных развертываний в глобальные или подготовленные зоны данных при остановке существующего трафика вывода в исходном подготовленном развертывании. Этот подход к миграции не требует сосуществования нескольких развертываний для поддержки, но требует прерывания рабочей нагрузки. Процесс миграции подготовленного развертывания с использованием подхода с простоем выглядит следующим образом:

• Убедитесь, что на ранее подготовленном развертывании нет запросов на вывод, удостоверяясь, что метрика запросов Azure OpenAI не отображает вызовы API за последние 5–10 минут. Дополнительные сведения об этой метрии см. в документации по Мониторингу Azure OpenAI.
• Убедившись, что запросы на вывод не были сделаны, удалите региональный подготовленный деплоймент.
• Создайте новое развертывание с помощью типов развертывания глобальной или зоны данных в целевом ресурсе Azure OpenAI.
• После успешного выполнения нового развертывания можно возобновить трафик инференса в новом глобальном развертывании или развертывании зоны данных.

Как мне мигрировать существующее резервирование Azure в новые типы продуктов резервирования Azure?

Резервирования Azure для предоставленных предложений службы Azure OpenAI относятся к конкретному типу развертывания. Если приобретенное резервирование Azure не соответствует подготовленному типу развертывания, развертывание по умолчанию перейдёт на модель почасовой оплаты. Если вы решили перейти на развертывания в глобальных или специально выделенных зонах данных, вам может потребоваться приобрести новый резерв Azure для этих развертываний, чтобы поддержать дополнительные скидки. Дополнительные сведения о том, как приобрести новое резервирование Azure или внести изменения в существующее резервирование Azure, см. в руководстве по резервированию Azure для Службы OpenAI.

Управление подготовленными обязательствами по пропускной способности

Подготовленные обязательства по пропускной способности создаются и управляются путем выбора центра управления в меню навигации портала Azure AI Foundry>Квота>Управление обязательствами.

В представлении "Управление обязательствами " можно выполнить несколько действий.

• Приобретите новые обязательства или измените существующие обязательства.
• Отслеживайте все обязательства в подписке.
• Определите и примите меры по обязательствам, которые могут вызвать непредвиденные выставления счетов.

В следующих разделах описаны эти задачи.

Приобретение обязательства на подготовленную пропускную способность

Когда план обязательств готов, следующим шагом будет их создание. Обязательства создаются вручную с помощью Azure AI Foundry и требуют, чтобы пользователь, создающий обязательство, имел роль участника или участника Cognitive Services на уровне подписки.

Для каждого нового обязательства, которое необходимо создать, выполните следующие действия.

1. Запустите диалоговое окно приобретения подготовленной пропускной способности, выбрав Квота>Azure OpenAI Provisioned>Управление планами обязательств.

2. Выберите обязательство покупки.

3. Выберите ресурс Azure OpenAI и приобретите обязательство. Вы увидите ресурсы, разделенные на ресурсы с существующими обязательствами, которые можно редактировать и ресурсы, которые в настоящее время не имеют обязательств.

4. Щелкните Приобрести. Откроется диалоговое окно подтверждения. После подтверждения PTUs будут зафиксированы, и их можно будет использовать для создания подготовленного развертывания. |

Измените существующее обязательство по зарезервированной пропускной способности

В представлении "Управление обязательствами " можно также изменить существующее обязательство. Существует два типа изменений, которые можно внести в существующее обязательство:

• Вы можете добавить PTU в обязательство.
• Параметры продления можно изменить.

Чтобы изменить обязательство, выберите текущий для изменения, а затем нажмите кнопку "Изменить обязательство".

Добавление предоставленных единиц пропускной способности к существующим обязательствам

Добавление PTUs в уже существующее обязательство позволит создавать более масштабные или более частые развертывания в ресурсе. Это можно сделать в любое время в течение срока вашего обязательства.

Изменение параметров продления

Параметры продления обязательств можно изменить в любое время до истечения срока действия вашего обязательства. Причины, по которым может потребоваться изменить параметры продления, включают прекращение использования предоставленной пропускной способности путем установки обязательства на отказ от автоматического продления или уменьшение использования предоставленной пропускной способности, уменьшая количество PTU, которые будут зафиксированы в следующем периоде.

Мониторинг обязательств и предотвращение непредвиденных выставления счетов

В разделе "Управление обязательствами " представлен широкий обзор всех ресурсов с обязательствами и использованием PTU в рамках данной подписки Azure. В частности, важно:

• PTUs Committed, Deployed and Usage — эти цифры предоставляют размеры ваших обязательств и сколько используется в развертываниях. Максимальное увеличение инвестиций с помощью всех выделенных ПТП.
• Политика окончания срока действия и дата — дата окончания срока действия и политика сообщают вам, когда срок действия обязательства истекает, и что произойдет при выполнении. Обязательство с автоматическим обновлением вызовет событие выставления счетов в дату продления. Для обязательств, истекающих срок действия, убедитесь, что вы удаляете развертывания из этих ресурсов до даты окончания срока действия, чтобы предотвратить почасовое выставление счетов в текущих параметрах продления для обязательства.
• Уведомления — оповещения относительно важных условий, таких как неиспользуемые обязательства, и конфигурации, которые могут привести к превышению счетов. Превышение счетов может быть вызвано такими ситуациями, как когда срок действия обязательства истек, а развертывание все еще активны, но перешли на почасовую оплату.

Распространенные сценарии управления обязательствами

Прекращение использования подготовленной пропускной способности

Чтобы завершить использование подготовленной пропускной способности и предотвратить почасовое превышение расходов после истечения срока действия обязательств, остановите все расходы после истечения срока действия текущих обязательств, необходимо выполнить два шага:

1. Задайте политику продления для всех обязательств, чтобы не выполнять автоматическое восстановление.
2. Удалите подготовленные развертывания с помощью квоты.

Перемещение обязательства или развертывания в новый ресурс в той же подписке или регионе

В Azure AI Foundry невозможно напрямую переместить развертывание или перенести обязательство к новому ресурсу. Вместо этого необходимо создать новое развертывание на целевом ресурсе и переместить трафик на него. Для этого необходимо будет приобрести обязательство, приобретенное на новом ресурсе. Поскольку обязательства взимается заранее за 30-дневный период, необходимо время этого шага с истечением срока действия первоначальной обязательства, чтобы свести к минимуму перекрытие с новым обязательством и "двойным выставлением счетов" во время перекрытия.

Существует два подхода, которые можно использовать для реализации этого перехода.

Вариант 1. Переключение без перекрытия

Этот параметр требует некоторого простоя, но не требует дополнительной квоты и не создает дополнительных затрат.

Вариант 2: Совмещение переключения

Этот вариант исключает время простоя благодаря одновременной работе как существующих, так и новых развертываний. Для этого требуется наличие квоты для создания нового развертывания и создание дополнительных затрат на время перекрывающихся развертываний.

Если последний шаг занимает больше времени, чем ожидалось, и завершится после истечения срока действия существующего обязательства, существует три варианта, чтобы свести к минимуму расходы на превышение.

• Время простоя: удалите исходное развертывание, а затем завершите перемещение.
• Оплата почасовой оплаты: сохраните исходное развертывание и платите почасовой оплаты, пока не переместите трафик и не удалили развертывание.
• Сбросьте исходное обязательство, чтобы снова продлить срок действия. Это даст вам время для завершения перемещения с известной стоимостью.

Плата за превышение и сброс исходного обязательства приведет к возникновению расходов за пределами исходной даты окончания срока действия. Плата за превышение лимита может быть дешевле, чем новое одномесячное обязательство, если вам потребуется только день или два для завершения переезда. Сравните затраты обоих вариантов, чтобы найти подход с наименьшей стоимостью.

Переместите развертывание в новый регион и/или подписку.

Те же подходы применяются при перемещении обязательств и развертывания в регионе, за исключением того, что наличие доступной квоты в новом расположении потребуется во всех случаях.

Просмотр и изменение существующего ресурса

В Azure AI Foundry выберите Центр управления, Квота, Выделено, Управление обязательствами, и выберите ресурс с существующим обязательством для его просмотра или изменения.