Обзор моделей Microsoft Foundry (классическая модель)

В настоящее время просмотр:Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry

Модели Microsoft Foundry — это универсальное место для обнаружения, оценки и развертывания мощных моделей ИИ. Независимо от того, создаёте ли вы собственный Copilot, агента, улучшаете существующее приложение или изучаете новые возможности ИИ, в Foundry Models есть всё необходимое.

С помощью моделей Foundry можно:

• Изучите широкий каталог передовых моделей из Microsoft, Azure OpenAI, Anthropic, DeepSeek, Meta, Mistral, Cohere, Hugging Face и многое другое.
• Сравнивайте и оценивайте модели, используя реальные задачи и собственные данные.
• Развертывайте с уверенностью благодаря встроенным инструментам для тонкой настройки, ответственного ИИ и наблюдаемости.
• Выберите свой путь— принесите собственную модель, используйте размещенную или легко интегрируйте с службами Azure.

Независимо от того, является ли вы разработчиком, специалистом по обработке и анализу данных или корпоративным архитектором, Foundry Models, предоставляет гибкость и контроль над созданием решений искусственного интеллекта, которые масштабируемы , безопасно, ответственно и быстро.

Foundry предлагает полный каталог моделей искусственного интеллекта. Каталог включает более 10 000 моделей, с примерно 50 новыми моделями, опубликованными каждый месяц. Эти модели варьируются от базовых моделей, моделей причин, небольших языковых моделей, многомодальных моделей, моделей для конкретных областей и отраслевых моделей.

Каталог моделей организован на две основные категории:

• Модели Foundry, продаваемые через Azure
• Модели Foundry от партнеров и сообщества

Понимание различий между этими категориями помогает выбрать правильные модели для конкретных требований и стратегических целей.

Модели, проданные Azure

Корпорация Майкрософт размещает и продает эти модели в соответствии с условиями продукта Майкрософт. Microsoft оценивает эти модели и глубоко интегрирует их в экосистему ИИ Azure. Модели приходят от различных поставщиков и предлагают расширенную интеграцию, оптимизированную производительность и прямую Microsoft поддержку, включая соглашения об уровне обслуживания корпоративного уровня (СОГЛАШЕНИЯ об уровне обслуживания). Подробный перечень этих моделей и их возможностей см. в разделе Модели Foundry, продаваемые через Azure.

Характеристики моделей, проданных Azure:

• Microsoft предоставляет поддержку.
• Высокий уровень интеграции со службами и инфраструктурой Azure.
• Подлежит внутреннему анализу и проверке на основе стандартов ответственного ИИ Microsoft: модели, проданные непосредственно через Azure проходят внутренние процессы проверки ответственного ИИ Microsoft, и высокоуровневые результаты этих проверок отражаются в документации, конкретной для каждой модели в каталоге моделей, доступной на сайтеhttps://ai.azure.com/explore/models.
  • Клиенты должны ссылаться на сведения об оценке в документации, чтобы понять ограничения каждой модели, прежде чем интегрировать их в приложения.
  • Клиенты должны отметить, что эти проверки не гарантируют устранение потенциальных рисков. Различные модели имеют различные характеристики безопасности, и клиенты должны тщательно просматривать документацию и проводить собственные оценки в контексте своих приложений, чтобы гарантировать, что риски поняты или смягчены перед развертыванием.
• Документация модели и прозрачные отчеты обеспечивают клиентам ясность в отношении рисков модели, мер по их смягчению и ограничений.
• Масштабируемость, надежность и безопасность корпоративного уровня.

Некоторые из этих моделей также предлагают гибкую выделенную пропускную способность, что означает, что вы можете гибко использовать квоты и резервы в любой из этих моделей. Чтобы узнать, как Foundry обрабатывает данные, которые вы предоставляете моделям Foundry, продаваемым Azure, см. статью Данные, конфиденциальность и безопасность моделей, продаваемых Azure, в Microsoft Foundry.

Модели от партнеров и сообщества

Эти модели составляют подавляющее большинство моделей Foundry. Доверенные сторонние организации, партнеры, исследовательские лаборатории и участники сообщества предоставляют эти модели. Они предлагают специализированные и разнообразные возможности ИИ, охватывающие широкий спектр сценариев, отраслей и инноваций. Примеры моделей от партнеров и сообщества — это семейство крупных языковых моделей, разработанных Anthropic и open models from the Hugging Face Hub.

Anthropic включает семейство передовых языковых моделей Claude, поддерживающих ввод текста и изображений, вывод текста, многоязычные возможности и компьютерное зрение. Для получения помощи с моделями Anthropic обратитесь в служба поддержки Майкрософт. Чтобы узнать больше о конфиденциальности, см. статью Данные, конфиденциальность и безопасность моделей Claude в Microsoft Foundry (предварительная версия). Термины, управляющие обработкой данных, см. в дополнении о обработке данных компании Anthropic и коммерческих условиях обслуживания компании Anthropic. Сведения о том, как работать с моделями Anthropic, см. в статье Развертывание и использование моделей Claude в Microsoft Foundry.

Платформа Hugging Face включает сотни моделей для инференса в режиме реального времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Для помощи с моделями Hugging Face используйте форум Hugging Face или поддержку Hugging Face. Узнайте, как развертывать модели Hugging Face в разделе Как развертывать и выводить модели с помощью управляемого развертывания вычислений (классическое).

Характеристики моделей от партнеров и сообщества:

• Разработан и поддерживается внешними партнерами и участниками сообщества
• Разнообразный ряд специализированных моделей для нишевых или широких областей применения.
• Как правило, проверяется самими поставщиками с рекомендациями по интеграции, предоставляемыми Azure
• Инновации, управляемые сообществом, и быстрая доступность передовых моделей
• Стандартная интеграция Azure ИИ с поддержкой и обслуживанием, управляемыми соответствующими поставщиками

Вы развертываете модели от партнеров и сообщества, используя варианты управляемых вычислительных ресурсов или бессерверного развертывания. Поставщик модели выбирает способ развертывания моделей. Дополнительные сведения о различиях между этими параметрами развертывания см. в разделе " Параметры развертывания модели": управляемые вычислительные ресурсы и бессерверные развертывания.

Запрос модели для включения в каталог моделей

Попросите Microsoft добавить модель в каталог моделей прямо на странице каталога моделей на портале Foundry.

1. Перейдите на страницу каталога моделей.
2. На панели поиска найдите модель, которая не существует в каталоге, например mymodel.
3. Выберите "Запросить модель", чтобы предоставить доступ к сведениям о модели, которую вы хотите запросить.

Выбор между моделями, проданными Azure и моделями от партнеров и сообщества

При выборе используемых моделей Foundry следует учитывать следующие факторы:

• Вариант использования и требования. Модели, проданные Azure, идеально подходят для сценариев, требующих глубокой интеграции Azure, гарантированной поддержки и корпоративных соглашений об уровне обслуживания. Модели партнеров и сообщества превосходят в специализированных вариантах использования и инновационных сценариях.
• Ожидания в отношении поддержки: модели, продаваемые через Azure, сопровождаются надежной поддержкой и обслуживанием от Microsoft. Модели партнеров и сообщества поддерживаются их поставщиками с различными уровнями соглашения об уровне обслуживания и структурами поддержки.
• Инновации и специализация. Модели от партнеров и сообщества предлагают быстрый доступ к специализированным инновациям и нишевым возможностям, часто разработанным ведущими исследовательскими лабораториями и новыми поставщиками ИИ.

Общие сведения о возможностях каталога моделей

Каталог моделей на портале Foundry — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Каталог моделей представляет тысячи моделей от таких поставщиков, как Azure OpenAI, Anthropic, Mistral, Meta, Cohere, NVIDIA и Hugging Face, в том числе модели, обученные Microsoft. Модели от поставщиков, отличных от Microsoft, являются продуктами, не относящимися к Microsoft, как определено в Условиях использования продуктов Microsoft и подчиняются условиям, предоставленным с моделями.

Поиск и обнаружение моделей, которые соответствуют вашим потребностям с помощью поиска ключевых слов и фильтров. Каталог моделей также предлагает лидерборд производительности моделей и метрики сравнительного анализа для выбора моделей. К ним можно получить доступ, выбрав "Просмотреть список лидеров " и "Сравнить модели". Данные эталонных тестов также доступны на вкладке "Бенчмарки модели".

Каталог моделей включает несколько фильтров, некоторые из которых включают фильтрацию на основе:

• Коллекции: коллекции поставщиков моделей
• Регион: доступность модели для развертывания в определенных Azure регионах
• Варианты развертывания: поддерживаемые варианты развертывания (управляемые вычислительные ресурсы или бессерверный API)
• Номер SKU развертывания. Доступные типы развертывания для варианта развертывания бессерверного API
• Жизненный цикл: жизненный цикл модели (предварительная версия, общедоступная версия или устаревшая версия)
• Отрасль: отраслевой набор данных, используемый для обучения моделей (например, в сфере здравоохранения, розничной торговли или производства)
• Поддерживаемые возможности: уникальные возможности модели, такие как логическое рассуждение и вызов инструментов
• Задачи вывода: тип задачи вывода (например, завершение чата, создание звука или внедрение)

Ниже приведены некоторые сведения, доступные в карточке модели :

• Краткие факты: ключевые сведения о модели на быстром взгляде
• Вкладка "Сведения": подробные сведения о модели, например описание, сведения о версии и поддерживаемый тип данных
• Вкладка "Развертывания" : список существующих развертываний для модели
• Вкладка "Тесты тестирования " — метрики теста производительности для выборки моделей
• Вкладка "Лицензия": юридическая информация, связанная с лицензированием модели

Варианты развертывания модели: управляемые вычислительные ресурсы и бессерверные развертывания

Каталог моделей предлагает два различных варианта развертывания моделей для использования: управляемые вычислительные и бессерверные развертывания. Чтобы узнать о вариантах развертывания, см. Обзор развертывания моделей Microsoft Foundry. Чтобы узнать, как Foundry обрабатывает данные, которые вы предоставляете моделям Foundry, продаваемым Azure, см. статью Данные, конфиденциальность и безопасность моделей, продаваемых Azure, в Microsoft Foundry.

Возможности параметров развертывания модели

Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующей таблице:

Управляемые вычислительные ресурсы

Возможность развертывания моделей как управляемых вычислительных ресурсов базируется на возможностях платформы Машинное обучение Azure, позволяя бесшовную интеграцию обширной коллекции моделей из каталога моделей на протяжении всего жизненного цикла операций с большими языковыми моделями (LLM).

Доступность моделей для развертывания в виде управляемых вычислительных ресурсов

Эти модели можно получить через реестры Машинного обучения Azure. Эти регистры позволяют использовать подход, ориентированный прежде всего на машинное обучение, к хранению и распространению ресурсов Машинное обучение Azure. К этим ресурсам относятся веса моделей, среды выполнения для контейнеров для запуска моделей, потоки разработки для оценки и тонкой настройки моделей, а также наборы данных для создания эталонов и примеров.

Реестры создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:

• Обеспечивает передачу данных с низкой задержкой к артефактам модели во всех регионах Azure с встроенной георепликацией.

• Поддерживает требования корпоративной безопасности, такие как ограничение доступа к моделям с помощью Политика Azure и безопасного развертывания с помощью управляемых виртуальных сетей.

Развертывание моделей для вывода с помощью управляемых вычислений

Разверните модели, доступные для развертывания на управляемых вычислительных ресурсах, в управляемые вычислительные ресурсы Машинное обучение Azure для вывода в реальном времени. Чтобы развернуть управляемые вычислительные ресурсы, вам потребуется квота виртуальной машины в подписке Azure для конкретных продуктов, чтобы оптимально запустить модель. Некоторые модели позволяют развертывать временно общую квоту для тестирования моделей.

Дополнительные сведения о развертывании моделей:

• Сведения о развертывании открытых моделей для управляемых вычислений см. в статье "Развертывание и вывод с помощью управляемого вычислительного развертывания (классического)".
• Сведения о развертывании защищенных моделей Foundry для управляемых вычислений с выставлением счетов по мере использования см. в статье Deploy Microsoft Foundry Models для управления вычислительными ресурсами с оплатой по мере использования (классическая версия).

Создание приложений генеративного ИИ с помощью управляемых вычислительных ресурсов

Функция поток запросов в Машинное обучение Azure предлагает отличный опыт для прототипирования. Используйте модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных средствах LLM, таких как LangChain с расширением Машинное обучение Azure.

Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы

Служба Безопасность содержимого ИИ Azure доступна для использования с управляемыми вычислениями для фильтрации различных категорий вредоносного контента, например, сексуальный контент, насилие, ненависть и самоповреждение. Вы также можете использовать данную службу для выявления сложных угроз, таких как обнаружение рисков взлома и выявление защищенного контента.

Справочная интеграция с Безопасность содержимого ИИ Azure для Llama 2 см. в this notebook. Или используйте средство Content Safety (Text) в потоке запросов для передачи ответов от модели Безопасность содержимого ИИ Azure для проверки. За такое использование взимается отдельная плата, как описано в ценообразовании Безопасность содержимого ИИ Azure.

Бессерверные развертывания

Бессерверные развертывания позволяют использовать модели Foundry в качестве API без размещения их в подписке. Microsoft размещает модели в управляемой инфраструктуре, которая обеспечивает доступ на основе API к модели поставщика моделей. Доступ на основе API может значительно сократить затраты на доступ к модели и упростить настройку.

Поставщики моделей предлагают модели для бессерверных развертываний, но Microsoft размещает их в управляемой Azure инфраструктуре и предоставляет доступ через API. Поставщики моделей определяют условия лицензии и устанавливают цену на использование своих моделей. Служба Машинное обучение Azure:

• Управляет инфраструктурой размещения.
• Делает доступными API инференса.
• Выступает в качестве обработчика данных для отправленных запросов и данных содержимого на выходе для бессерверных развертываний.

Типы бессерверных развертываний

Вариант бессерверного развертывания для Модели Foundry предлагает две основные категории развертывания: стандартная (оплата за токен) и подготовленная (зарезервированная емкость). В каждой категории можно выбрать глобальную, зону данных или региональную обработку на основе требований соответствия требованиям.

Доступные типы бессерверных развертываний: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned и Developer. Дополнительные сведения об этих типах развертывания и о том, как выбрать подходящий для ваших нужд, см. в разделе Типы развертывания для моделей Microsoft Foundry.

Выставление счетов за бессерверные развертывания

Интерфейс для подписки, обнаружения и использования моделей, развернутых как бессерверные развертывания, находится в портале Foundry и Azure Machine Learning Studio. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление доступны во время развертывания.

Модели Foundry от партнеров и сообщества оплачиваются через Azure Marketplace в соответствии с Условиями использования коммерческой платформы Microsoft.

Модели Foundry, продаваемые через Azure, тарифицируются по счетчикам Azure как службы потребления Майкрософт. Как описано в разделе Product Terms, вы приобретаете службы потребления первой стороны (First Party) с помощью множителей Azure, но они не подлежат условиям обслуживания Azure. Использование этих моделей подчиняется предоставленным условиям лицензионного соглашения.

RAG с моделями, развернутыми в режиме бессерверности

В портале Foundry используйте векторные индексы и генерацию с дополнением извлечёнными данными (RAG) с моделями, развёрнутыми через бессерверные развёртывания, чтобы создавать эмбеддинги и выполнять вывод на основе собственных данных. Используйте эти эмбеддинги и инференс, чтобы генерировать ответы с учетом вашего сценария использования. Дополнительные сведения см. в разделе Создание и использование векторных индексов на портале Microsoft Foundry (классический).

Безопасность содержимого для моделей, развернутых с помощью бессерверных развертываний

Для языковых моделей, развернутых через бессерверный API, Azure ИИ реализует фильтры модерации текста Безопасность содержимого ИИ Azure по умолчанию, которые выявляют вредное содержимое, например контент ненависти, самоповреждение, сексуальный и насильственный контент. Дополнительные сведения о фильтрации контента см. в разделе Ограничения и элементы управления для моделей, продаваемых в Azure.

Фильтрация содержимого выполняется синхронно при обработке службой запросов на создание содержания. Вы можете быть выставлены счета отдельно в соответствии с ценами Безопасность содержимого ИИ Azure за такое использование. Вы можете отключить фильтрацию содержимого для отдельных бессерверных конечных точек:

• Во время первого развертывания языковой модели
• Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, что вы решили использовать API, отличный от пакета SDK Azure OpenAI, с api Azure OpenAI версии 1 для работы с моделью, развернутой с помощью бессерверного API. В такой ситуации фильтрация содержимого не включена, если только вы не реализуете его отдельно с помощью Безопасность содержимого ИИ Azure.

Сведения о начале работы с Безопасность содержимого ИИ Azure см. в статье Quickstart: анализ текстового содержимого. Если при работе с моделями, развернутыми через бессерверный API, вы не используете фильтрацию содержимого, вы рискуете предоставить пользователям вредное содержимое.

Региональная доступность моделей Foundry

Оплата за токены доступна только пользователям, чья подписка Azure относится к платежной учетной записи в стране или регионе, где поставщик модели делает это предложение доступным. Если предложение доступно в соответствующем регионе, пользователь должен иметь ресурс проекта в Azure регионе, где модель доступна для развертывания или тонкой настройки, как применимо. Информацию о доступности моделей Foundry по регионам см.:

• Доступность регионов для моделей Foundry, проданных Azure
• Доступность моделей Foundry от партнеров и сообщества по регионам

Сетевая изоляция для моделей, развернутых с помощью бессерверных развертываний

Конечные точки доступа для моделей, развернутых как бессерверные развертывания, следуют настройке флага доступа к общедоступной сети центра Foundry, где находится проект, в котором существует развертывание. Чтобы защитить бессерверное развертывание, отключите флаг доступа к общедоступной сети в Центре Foundry. Вы можете защитить входящий трафик от клиента к конечной точке с помощью частной конечной точки для концентратора.

Чтобы задать флаг доступа к общедоступной сети для центра Foundry, выполните следующие действия.

1. Перейдите на портал Azure.
2. Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр Foundry из ресурсов, перечисленных для этой группы ресурсов.
3. На странице обзора концентратора на левой панели перейдите в раздел "Параметры>сети".
4. На вкладке "Общедоступный доступ" настройте параметры для флага доступа к общедоступной сети.
5. Сохраните изменения. Для распространения изменений может потребоваться до пяти минут.

Ограничения

• Если у вас есть хаб Foundry, в котором частный эндпоинт был создан до 11 июля 2024 г., бессерверные развертывания, добавленные в проекты в этом хабе, не используют сетевую конфигурацию хаба. Вместо этого создайте частную конечную точку для концентратора и новое бессерверное развертывание в проекте, чтобы новые развертывания могли следовать конфигурации сети концентратора.

• Если у вас есть центр Foundry с бессерверными развертываниями, созданными до 11 июля 2024 года, и вы включите частную конечную точку в этом концентраторе, существующие бессерверные развертывания не соответствуют конфигурации сети концентратора. Чтобы бессерверные развертывания в центре следовали конфигурации сети центра, повторно создайте развертывания.

• В настоящее время поддержка Azure OpenAI On Your Data не доступна для бессерверных развертываний в частных центрах, так как частные центры имеют флаг доступа к общедоступной сети отключен.

• Любое изменение конфигурации сети (например, включение или отключение флага доступа к общедоступной сети) может занять до пяти минут.

Модели точной настройки

Некоторые модели также поддерживают точную настройку. Для этих моделей можно использовать управляемые вычислительные ресурсы или бессерверные развертывания для настройки моделей с помощью предоставленных данных. Дополнительные сведения см. в статье Fine-tune models with Microsoft Foundry (classic).  

Жизненный цикл модели: устаревание и выведение из эксплуатации

Модели искусственного интеллекта быстро развиваются. Когда новая версия или новая модель с обновленными возможностями в том же семействе моделей становится доступной, старые модели могут быть сняты в каталоге моделей Foundry. Чтобы обеспечить плавное переход на более новую версию модели, некоторые модели позволяют пользователям включать автоматические обновления. Дополнительные сведения о жизненном цикле модели различных моделей, предстоящих датах выхода на пенсию модели и предлагаемых моделях замены см. в следующих примерах:

• Жизненный цикл и политика поддержки моделей Foundry от Microsoft
• График вывода модели из эксплуатации
• Выведенные из эксплуатации модели литейного производства

Связанное содержимое

• Мгновенный доступ к моделям в Microsoft Foundry (предварительная версия)
• Данные, конфиденциальность и безопасность моделей, продаваемых через Azure в Microsoft Foundry
• Типы развертывания для моделей Microsoft Foundry