Типы развертывания в моделях Azure AI Foundry

Модели Azure AI Foundry предоставляются с использованием концепции развертывания модели в службах Azure AI Foundry Services (ранее известных как службы Azure AI Services). Развертывания моделей также являются ресурсами Azure, а при создании они предоставляют доступ к данной модели в определенных конфигурациях. Такая конфигурация включает инфраструктуру, требуемую для обработки запросов.

Модели Azure AI Foundry предоставляют клиентам выбор в структуре размещения, которая соответствует своим бизнес-шаблонам и шаблонам использования. Эти параметры претворяются в различные типы развертываний (или номера SKU), доступные во время развертывания модели в ресурсе Azure AI Foundry.

Разные поставщики моделей предлагают различные типы развертываний , которые можно выбрать. При выборе типа развертывания учитывайте потребности расположения данных и требования к объему или емкости вызова .

Глобальный стандарт

Имя SKU в коде:GlobalStandard

Глобальные развертывания доступны в службах Azure AI Foundry, отличных от глобальных типов развертывания, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных с наилучшей доступностью для каждого запроса. Глобальный стандарт предоставляет максимальную квоту по умолчанию и устраняет необходимость балансировки нагрузки между несколькими ресурсами.

Клиенты с высоким и стабильным объемом могут столкнуться с большей изменчивостью задержки. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице квот. Для приложений, которым требуется меньшая вариативность задержки при большом использовании рабочей нагрузки, рекомендуется приобрести выделенную пропускную способность.

Глобально обеспеченный

Имя SKU в коде:GlobalProvisionedManaged

Глобальные развертывания доступны в службах Azure AI Foundry, отличных от глобальных типов развертывания, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных с наилучшей доступностью для каждого запроса. Глобальные подготовленные развертывания обеспечивают зарезервированную емкость обработки модели для высокой и прогнозируемой пропускной способности с помощью глобальной инфраструктуры Azure.

Глобальная партия

Глобальный пакет предназначен для эффективной обработки крупномасштабных и больших объемов задач обработки. Обработка асинхронных групп запросов с отдельной квотой, с целевым временем обработки в 24 часа и на 50% меньше затрат, чем глобальный стандарт. При пакетной обработке вместо отправки одного запроса за раз вы отправляете большое количество запросов в одном файле. Глобальные пакетные запросы имеют отдельную квоту токенов в очереди, что позволяет избежать сбоев в работе ваших онлайн-загрузок.

Имя SKU в коде:GlobalBatch

Основные примеры таких ситуаций:

• Обработка крупномасштабных данных: быстро анализируйте обширные наборы данных параллельно.

• Создание содержимого: создание больших объемов текста, таких как описания продуктов или статьи.

• Проверка и сводка документов. Автоматизация проверки и сводки длинных документов.

• Автоматизация поддержки клиентов. Обработка многочисленных запросов одновременно для ускорения ответов.

• Извлечение и анализ данных. Извлечение и анализ данных из огромных объемов неструктурированных данных.

• Задачи обработки естественного языка (NLP): выполнение таких задач, как анализ тональности или перевод больших наборов данных.

• Маркетинг и персонализация: Генерация персонализированного контента и рекомендаций в большом масштабе.

Стандарт зоны данных

Имя SKU в коде:DataZoneStandard

Стандартные развертывания зоны данных доступны в том же ресурсе Azure AI Foundry, что и все остальные типы развертываний ИИ Foundry Models, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах определенной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса. Стандарт зоны данных предоставляет более высокие квоты по умолчанию, чем типы развертывания на основе географии Azure.

Клиенты с высоким и стабильным объемом могут столкнуться с большей изменчивостью задержки. Пороговое значение устанавливается для каждой модели. Дополнительные сведения см. на странице "Квоты и ограничения ". Для рабочих нагрузок, требующих низкой задержки при большом объеме, рекомендуется использовать предоставляемые возможности развертывания.

Подготовленная зона данных

Имя SKU в коде:DataZoneProvisionedManaged

Подготовленные зоны данных доступны в том же ресурсе Azure AI Foundry, что и все остальные типы развертываний ИИ Foundry Models, но позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах указанной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса. Развертывания, подготовленные в зонах данных, предоставляют зарезервированную вычислительную мощность для обработки моделей, обеспечивая высокую и прогнозируемую пропускную способность с использованием инфраструктуры Azure в зоне данных, указанной Microsoft.

Пакет зоны данных

Имя SKU в коде:DataZoneBatch

Развертывания пакетных зон данных предоставляют весь тот же функционал, что и глобальные пакетные развертывания, позволяя использовать глобальную инфраструктуру Azure для динамической маршрутизации трафика исключительно к центрам обработки данных в пределах определенной корпорацией Майкрософт зоны данных с наилучшей доступностью для каждого запроса.

Стандарт

Имя SKU в коде:Standard

Стандартные развертывания предоставляют модель выставления счетов за вызов для выбранной модели. Предоставляет самый быстрый способ начать работу, так как вы платите только за то, что потребляете. Модели, доступные в каждом регионе, а также пропускная способность, могут быть ограничены.

Стандартные развертывания оптимизированы для низкой и средней рабочей нагрузки томов с высокой степенью ускорения. Клиенты с высоким и стабильным объемом могут столкнуться с большей изменчивостью задержки.

Обеспечено

Имя SKU в коде:ProvisionedManaged

Подготовленные развертывания позволяют указать требуемый в развертывании объем пропускной способности. Затем служба выделяет необходимую емкость для обработки модели и гарантирует ее готовность для вас. Пропускная способность определяется с точки зрения единиц выделенной пропускной способности (PTU), которые являются нормализованным способом представления пропускной способности для развертывания. Каждая пара версии модели требует разного количества PTU для развертывания и обеспечивает разную пропускную способность на единицу PTU. Узнайте больше в статье о понятии предоставленной пропускной способности.

Управление параметрами развертывания

Администраторы могут контролировать, какие типы развертывания модели доступны пользователям с помощью политик Azure. Узнайте больше о том, как управлять развертыванием модели ИИ с помощью пользовательских политик.

Связанный контент

• Квоты и ограничения
• Конфиденциальность данных и безопасность моделей Azure AI Foundry