Примеры вывода бессерверных API для моделей Foundry (классическая модель)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Каталог моделей Foundry предлагает большой выбор моделей Microsoft Foundry от широкого спектра поставщиков. У вас есть различные варианты развертывания моделей из каталога моделей. В этой статье перечислены примеры вывода для развертываний бессерверных API.

Для выполнения вывода с моделями некоторые модели, такие как Nixtla's TimeGEN-1 и Cohere rerank, требуют использования пользовательских API от поставщиков моделей. Другие поддерживают вывод с помощью API вывода модели. Дополнительные сведения об отдельных моделях можно найти, просмотрив карточки моделей в каталоге моделей на портале Foundry.

Cohere

Семейство моделей Cohere включает различные модели, оптимизированные для различных вариантов использования, включая пересортировку, завершение чата и модели эмбеддингов.

Примеры интерпретации: команда Cohere и встраивание

В следующей таблице приведены ссылки на примеры использования моделей Cohere.

Генерация с дополнением извлечения (RAG) и примеры использования инструментов: команда Cohere и встраивание

Cohere rerank

Чтобы выполнить инференс с помощью моделей повторной ранжировки Cohere, необходимо использовать пользовательские API повторной ранжировки Cohere. Дополнительные сведения о модели переупорядочения Cohere и её возможностях см. в разделе Cohere rerank.

Цены на модели переранжирования Cohere

Запросы, которые не следует путать с запросом пользователя, — это счетчик цен, который ссылается на стоимость, связанную с маркерами, используемыми в качестве входных данных для вывода модели Cohere Rerank. Cohere считает одной единицей поиска запрос, содержащий до 100 документов, которые будут обработаны и ранжированы. Документы длиной более 500 токенов (для Cohere-rerank-v3.5) или более 4096 токенов (для Cohere-rerank-v3-english и Cohere-rerank-v3-многоязычный) при включении длины поискового запроса разделяются на несколько блоков, где каждый блок учитывается как один документ.

См. коллекцию моделей Cohere на портале Foundry.

Core42

В следующей таблице приведены ссылки на примеры использования моделей Jais.

DeepSeek

Семейство моделей DeepSeek включает в себя DeepSeek-R1, которое превосходно справляется с решением задач пошагового обучения, таких как язык, научные рассуждения и задачи программирования, DeepSeek-V3-0324, языковая модель смешанного эксперта (MoE) и многое другое.

В следующей таблице приведены ссылки на примеры использования моделей DeepSeek.

Мета

Модели и инструменты Meta Llama — это коллекция предварительно обученных и точно настроенных генеративных моделей ИИ для обработки текста и изображений. Диапазон метаданных моделей масштабируется для включения:

• Небольшие языковые модели (SLM), такие как 1B и 3B Base и модели Instruct для вывода на устройствах и встраиваемого вывода
• Модели языка среднего размера (LLMs), такие как 7B, 8B и 70B Base и Instruct models
• Высокопроизводительные модели, такие как Meta Llama 3.1-405B, инструктируют для создания искусственных данных и вариантов использования дистилляции.
• Высокопроизводительные многомодальные модели Llama 4 Scout и Llama 4 Maverick используют архитектуру смеси экспертов для обеспечения производительности, лидирующей в отрасли, в распознавании текста и изображений.

В следующей таблице приведены ссылки на примеры использования моделей Meta Llama.

Microsoft

Microsoft модели включают различные группы моделей, такие как модели MAI, модели Phi, модели ИИ здравоохранения и многое другое. Чтобы просмотреть все доступные модели Microsoft, просмотрите коллекцию моделей коллекцию моделей Microsoft на портале Foundry.

В следующей таблице приведены ссылки на примеры использования моделей Microsoft.

См. раздел коллекция моделей Microsoft на портале Foundry.

Мистраль ИИ

Мистраль ИИ предлагает две категории моделей, а именно:

• Модели уровня "Премиум": Мистраль Большой, Мистраль Малый, Мистраль-OCR-2503, Мистраль Средний 3 (25.05) и Министраль 3B доступны как бессерверные API с оплатой по мере использования токенов.
• Открытые модели: к ним относятся Мистраль-малый-2503, Codestral и Mistral Nemo (которые доступны как бессерверные API с выставлением счетов по мере использования токенов) и Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 и Mistral-7B-v01(которые доступны для скачивания и запуска на локальных управляемых конечных точках).

В следующей таблице приведены ссылки на примеры использования моделей Mistral.

Nixtla

TimeGEN-1 в Nixtla — это созданная предварительно обученная модель прогнозирования и обнаружения аномалий для данных временных рядов. TimeGEN-1 может создавать точные прогнозы для новых временных рядов без обучения, используя только исторические значения и экзогенные ковариации в качестве входных данных.

Для выполнения инференции TimeGEN-1 требуется использовать специализированный API инференции Nixtla. Дополнительные сведения о модели TimeGEN-1 и ее возможностях см. в разделе Nixtla.

Оценить необходимое количество токенов

Прежде чем создать развертывание TimeGEN-1, полезно оценить количество токенов, которые вы планируете использовать и за которые будет выставлен счет. Один маркер соответствует одной точке данных в входном наборе данных или выходном наборе данных.

Предположим, что у вас есть следующий входной набор данных временных рядов:

Чтобы определить количество маркеров, умножьте количество строк (в этом примере два) и количество столбцов, используемых для прогнозирования, не подсчитывая столбцы unique_id и метки времени (в этом примере три), чтобы получить всего шесть маркеров.

Учитывая следующий выходной набор данных:

Кроме того, можно определить количество токенов, подсчитывая количество единиц данных, возвращаемых после прогнозирования данных. В этом примере число токенов составляет два.

Оценка цен на основе токенов

Существует четыре счетчика цен, определяющих цену, которую вы оплачиваете. Эти метры приведены следующим образом:

См. коллекцию моделей Nixtla на портале Foundry.

ИИ стабильности

Модели ИИ стабильности, развернутые с помощью бессерверного развертывания API, реализуют API вывода моделей на маршруте /image/generations. Примеры использования моделей ИИ стабильности см. в следующих примерах:

• Используйте SDK OpenAI с моделями Stability AI для запросов, преобразующих текст в изображение
• Используйте библиотеку Requests с моделями Stability AI для запросов преобразования текста в изображение
• Используйте библиотеку Requests с Stable Diffusion 3.5 Large для запросов 'изображение в изображение'
• Пример полностью закодированного ответа на генерацию изображения

Gretel Навигатор

Gretel Navigator использует составную архитектуру ИИ, специально спроектированную для синтетических данных, сочетая лучшие небольшие языковые модели с открытым исходным кодом (SLM), доработанные для использования в более чем 10 промышленных секторах. Эта специально созданная система создает разнообразные наборы данных, относящиеся к домену, в масштабе сотен до миллионов примеров. Система также сохраняет сложные статистические связи и обеспечивает повышенную скорость и точность по сравнению с созданием данных вручную.

Связанное содержимое

• Развертывание моделей в качестве бессерверных развертываний API
• Изучите модели Foundry
• Модели foundry и их возможности
• Доступность регионов для моделей в развертываниях бессерверных API
• Безопасность контента для моделей, продаваемых напрямую Azure