Примеры использования бессерверных API-инференсов для моделей Foundry

Каталог моделей искусственного интеллекта Azure предлагает большой выбор моделей Azure AI Foundry из широкого спектра поставщиков. У вас есть различные варианты развертывания моделей из каталога моделей. В этой статье перечислены примеры вывода для развертываний бессерверных API.

Для выполнения вывода с моделями некоторые модели, такие как TimeGEN-1 от Nixtla и Cohere rerank, требуют использования пользовательских API от поставщиков модели. Другие поддерживают вывод с помощью API вывода модели. Дополнительные сведения об отдельных моделях можно найти, просмотрев карточки моделей в каталоге моделей на портале Azure AI Foundry.

Cohere

Семейство моделей Cohere включает различные модели, оптимизированные для разных сценариев использования, включая переподборку, завершение сеансов чата и модели вложений.

Примеры вывода: команда Cohere и встраивание

В следующей таблице приведены ссылки на примеры использования моделей Cohere.

Метод генерации с дополнением извлечением (RAG) и использование инструмента: команда Cohere и встраивание

Перераспределение Cohere

Чтобы выполнить инференцию с помощью моделей переранжирования Cohere, необходимо использовать пользовательские API Cohere. Дополнительные сведения о модели переранжирования Cohere и ее возможностях см. в разделе Cohere rerank.

Цены на модели повторной ранжировки Cohere

Запросы, которые не следует путать с запросом пользователя, — это счетчик цен, который ссылается на стоимость, связанную с маркерами, используемыми в качестве входных данных для вывода модели Cohere Rerank. Cohere считает одной единицей поиска запрос, содержащий до 100 документов, которые будут ранжированы. Документы длиной более 500 токенов (для Cohere-rerank-v3.5) или более 4096 токенов (для Cohere-rerank-v3-english и Cohere-rerank-v3-многоязычный) при включении длины поискового запроса разделяются на несколько блоков, где каждый блок учитывается как один документ.

См. коллекцию моделей Cohere на портале Azure AI Foundry.

Core42

В следующей таблице приведены ссылки на примеры использования моделей Jais.

DeepSeek

Семейство моделей DeepSeek включает DeepSeek-R1, который превосходен в задачах рассуждения, используя пошаговый процесс обучения, таких как задачи лингвистики, научного рассуждения и программирования, DeepSeek-V3-0324, языковую модель на основе смеси экспертов (Mixture-of-Experts, MoE) и другие.

В следующей таблице приведены ссылки на примеры использования моделей DeepSeek.

Meta

Модели и инструменты Meta Llama — это коллекция предварительно обученных и точно настроенных генеративных моделей ИИ для работы с текстами и изображениями. Диапазон метаданных моделей масштабируется для включения:

• Небольшие языковые модели (SLM), такие как 1B и 3B Base и модели Instruct, для вывода на устройствах и выводов на периферии.
• Средние крупные языковые модели (LLMs), такие как 7B, 8B и 70B Base и модели Instruct
• Высокопроизводительные модели, такие как Meta Llama 3.1-405B Instruct, используются для генерации синтетических данных и сценариев дистилляции.
• Высокопроизводительные изначально многомодальные модели Llama 4 Scout и Llama 4 Maverick используют сочетание экспертных методов архитектуры для достижения ведущих результатов в распознавании текста и изображений.

В следующей таблице приведены ссылки на примеры использования моделей Meta Llama.

Microsoft

Модели Майкрософт включают различные группы моделей, такие как модели MAI, модели Phi, модели ИИ здравоохранения и многое другое. Чтобы просмотреть все доступные модели Майкрософт, просмотрите коллекцию моделей Майкрософт на портале Azure AI Foundry.

В следующей таблице приведены ссылки на примеры использования моделей Майкрософт.

См . коллекцию моделей Майкрософт на портале Azure AI Foundry.

Мистраль ИИ

Мистраль ИИ предлагает две категории моделей, а именно:

• Премиум модели: Сюда входят Mistral Large, Mistral Small, Mistral-OCR-2503, Mistral Medium 3 (25.05) и Ministral 3B, доступные как бессерверные API с оплатой по мере использования на основе токенов.
• Открытые модели: к ним относятся Мистраль-малый-2503, Codestral и Mistral Nemo (которые доступны как бессерверные API с выставлением счетов по мере использования токенов) и Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 и Mistral-7B-v01(которые доступны для скачивания и запуска на локальных управляемых конечных точках).

В следующей таблице приведены ссылки на примеры использования моделей Mistral.

Nixtla

TimeGEN-1 в Nixtla — это созданная предварительно обученная модель прогнозирования и обнаружения аномалий для данных временных рядов. TimeGEN-1 может создавать точные прогнозы для новых временных рядов без обучения, используя только исторические значения и экзогенные ковариации в качестве входных данных.

Для выполнения инференции TimeGEN-1 необходимо использовать пользовательский API для инференции Nixtla. Дополнительные сведения о модели TimeGEN-1 и ее возможностях см. в разделе Nixtla.

Оцените количество необходимых токенов

Прежде чем создать развертывание TimeGEN-1, полезно оценить количество токенов, которые вы планируете использовать и за которые будет выставлен счет. Один маркер соответствует одной точке данных в входном наборе данных или выходном наборе данных.

Предположим, что у вас есть следующий входной набор данных временных рядов:

Чтобы определить количество маркеров, умножьте количество строк (в этом примере два) и количество столбцов, используемых для прогнозирования, не подсчитывая столбцы unique_id и метки времени (в этом примере три), чтобы получить всего шесть маркеров.

Учитывая следующий выходной набор данных:

Кроме того, можно выяснить количество токенов, подсчитав количество данных, возвращенных после прогноза. В этом примере количество токенов равно двум.

Оценка цен на основе токенов

Существует четыре счетчика цен, определяющих цену, которую вы оплачиваете. Эти метры приведены следующим образом:

См. коллекцию моделей Nixtla на портале Azure AI Foundry.

ИИ стабильности

Модели ИИ стабильности, развернутые с помощью бессерверного развертывания API, реализуют API вывода моделей на маршруте /image/generations. Примеры использования моделей ИИ стабильности см. в следующих примерах:

• Используйте SDK OpenAI с моделями Stability AI для запросов 'текст в изображение'
• Используйте библиотеку Requests с моделями Stability AI для запросов преобразования текста в изображение
• Используйте библиотеку Requests с Stable Diffusion 3.5 Large для запросов на преобразование изображений
• Пример полнокодированного ответа на создание изображения

Gretel Навигатор

Gretel Navigator использует составную архитектуру ИИ, специально спроектированную для синтетических данных, сочетая лучшие небольшие языковые модели с открытым кодом (SLM), настроенные более чем для 10 отраслей. Эта специально созданная система создает разнообразные наборы данных, относящиеся к домену, в масштабе сотен до миллионов примеров. Система также сохраняет сложные статистические связи и обеспечивает повышенную скорость и точность по сравнению с созданием данных вручную.

Связанный контент

• Развертывание моделей в качестве бессерверных развертываний API
• Изучение моделей Azure AI Foundry
• Модели ливарного производства и их возможности
• Доступность регионов для моделей в развертываниях бессерверных API
• Безопасность содержимого для моделей, продаваемых напрямую компанией Azure