Типы развертывания для моделей Microsoft Foundry в Azure для государственных организаций

При развертывании модели в Microsoft Foundry в Azure для государственных организаций выберите тип развертывания, который определяет:

  • Где обрабатываются данные (зона данных или отдельный регион)
  • Оплата (оплата за токен или зарезервированную емкость)
  • Характеристики производительности (дисперсии задержки, ограничения пропускной способности)

Служба предлагает две основные категории: стандартная (оплата за токен) и подготовленная управляемая (зарезервированная емкость). В каждой категории можно выбрать зону данных или отдельную региональную обработку в соответствии с вашими требованиями.

Снимок экрана: диалоговое окно развертывания портала Foundry с полем выбора типа развертывания, где выбран Global Standard.

Важно

Резидентность данных для всех типов развертывания: данные, хранящиеся в покое, остаются в указанном регионе Azure. Однако данные вывода обрабатываются следующим образом:

  • USGov DataZone типы: обрабатывается только в пределах Azure для государственных организаций облачной зоны данных USGov
  • Стандартные или региональные типы: обработано в регионе развертывания

Сравнение типов развертывания

Тип развертывания Код SKU Обработка данных Выставление счетов Лучше всего для
Стандарт зоны данных DataZoneStandard Внутри зоны данных Оплата за токен Соответствие стандартам зоны данных USGov
Зона данных активирована DataZoneProvisionedManaged Внутри зоны данных Зарезервированная PTU Зона данных USGov + прогнозируемая пропускная способность
Стандартный Standard Один регион Оплата за токен Региональный уровень соответствия, низкий объем
Регионально предоставлено ProvisionedManaged Один регион Зарезервированная PTU Региональное соответствие и пропускная способность

Примечание

Не все модели поддерживают все типы развертывания. Проверьте доступность моделей Foundry Models, продаваемых непосредственно Azure по типу развертывания и региону.

Примечание

Гарантии обслуживания зависят от типа развертывания. Предоставленные типы обеспечивают гарантированную пропускную способность и меньшую вариацию задержки. Стандартные типы предлагают лучшие услуги. Дополнительные сведения см. в разделе об уровне обслуживания Azure для Служба Azure OpenAI.

Совет

Подробные сведения о ценах см. в ценах на Служба Azure OpenAI.

Выбор подходящего типа развертывания

Используйте следующие критерии для выбора типа развертывания:

Требование к месту расположения данных

  • зона данных USGov: использование DataZone Standard или DataZone Provisioned в регионе Azure для государственных организаций
  • Только один регион: используйте стандартное или региональное развертывание

По шаблону рабочей нагрузки

  • Переменный, скачкообразный трафик: используйте Standard или DataZone (оплата за токен):
  • Согласованный большой объем: используйте зарезервированные типы (предопределенная емкость)

Требование к задержке

  • Требуется низкая вариативность задержки: используйте зарезервированные виды
  • Допустимое отклонение задержки: используйте стандартные типы

Развертывание зон данных

Для типов развертывания DataZone запросы и ответы обрабатываются только в указанной зоне данных:

  • USGov: данные обрабатываются в двух регионах Azure для государственных организаций (USGovArizona или USGovVirginia)

Дополнительные сведения см. в разделе Foundry Models, продаваемые непосредственно Azure, в разделе "Доступность региона модели по типу развертывания".

Примечание

При использовании типов развертывания зоны данных уровня "Стандартный", если в основном регионе происходит прерывание услуги, весь трафик, изначально направленный в этот регион, подвергается воздействию. Дополнительные сведения см. в руководстве по обеспечению высокого уровня доступности и аварийного восстановления.

Стандарт зоны данных

  • Имя SKU в коде: DataZoneStandard

Развертывания в рамках стандарта развёртывания для зоны данных динамически перенаправляют трафик в центры обработки данных внутри зоны данных, определенной Microsoft (USGov). Этот тип развертывания предоставляет более высокие квоты по умолчанию, чем типы развертывания на основе географии, сохраняя данные в указанной зоне.

Клиенты с высоким постоянным объемом могут столкнуться с большим варьированием задержек. Пороговое значение устанавливается для каждой модели. Дополнительные сведения о квотах Azure OpenAI в Azure для государственных организаций см. в разделе Квоты и ограничения в Azure OpenAI. Для рабочих нагрузок, требующих низкой задержки при больших объемах, рекомендуется использовать развертывание с предварительным предоставлением.

Предоставленная зона данных

  • Имя SKU в коде: DataZoneProvisionedManaged

Развертывания с выделенной зоной динамически маршрутизируют трафик в пределах заданной Microsoft зоны данных (USGov), обеспечивая резервированную вычислительную мощность для обработки моделей. Этот тип развертывания сочетает соблюдение требований к зонам данных с высокой и предсказуемой пропускной способностью.

Стандартный

  • Имя SKU в коде: Standard

Стандартные развертывания используют оплату за токен. Вы платите только за то, что вы потребляете. Модели, доступные в каждом регионе, и пропускная способность могут быть ограничены.

Стандартные развертывания подходят для рабочих нагрузок с низким и средним объемом и высокой переменной нагрузкой. Клиенты с высоким постоянным объемом могут столкнуться с большим варьированием задержек.

Региональное предоставление

  • Имя SKU в коде: ProvisionedManaged

Региональные подготовленные развертывания позволяют указать объем пропускной способности, которую требуется в развертывании. Затем служба выделяет необходимые ресурсы для обработки модели и гарантирует её готовность для вас. Пропускная способность определяется в терминах подготовленных единиц пропускной способности (PTU), которые являются нормализованным способом выражения пропускной способности для развертывания. Для развертывания каждой пары версий модели требуются разные объёмы PTU, и предоставляются разные объёмы пропускной способности на один PTU. Минимальные требования PTU зависят от модели. Сведения о текущих минимумах и доступной емкости см. в основных понятиях подготовленной пропускной способности.

Устранение неполадок с развертыванием

Распространенные проблемы при создании или использовании развертываний:

Проблема Причина Разрешение
Тип развертывания недоступен Модель не поддерживает выбранный тип Проверка доступности модели по типу развертывания
Превышена квота Достигнут лимит подписки на токены в минуту Запросите увеличение квоты в Azure для государственных организаций AOAI или используйте другой регион
Регион недоступен Модель не развернута в выбранном регионе Выберите регион из списка доступности модели
Подготовленная емкость недоступна Нет емкости PTU в регионе Попробуйте другой регион или используйте DataZone, подготовленную для более широкой доступности

Ознакомьтесь с ограничениями квоты Azure OpenAI по типу развертывания в Azure для государственных организаций в разделе Квоты и ограничения в Azure OpenAI.

Мониторинг злоупотреблений в Azure для государственных организаций

Не все функции мониторинга нарушений включены для развертываний OpenAI в Azure в Azure для государственных организаций. Вы несете ответственность за реализацию разумных технических и операционных мер для обнаружения и устранения любого использования службы в нарушение условий продукта. Автоматическая классификация контента и фильтрация по умолчанию включены для Azure для государственных организаций. Если необходимы измененные фильтры содержимого, подайте заявку на Применение измененного фильтра для Azure для государственных организаций.

Связанное содержимое

  • Last updated on