Обзор моделей Microsoft Foundry (классическая модель)

В настоящее время просмотр:Классическая версия портала Foundry - Переключиться на версию нового портала Foundry

Модели Microsoft Foundry — это единое место назначения для обнаружения, оценки и развертывания мощных моделей ИИ, будь то создание пользовательского помощника, агента, улучшение существующего приложения или изучение новых возможностей искусственного интеллекта.

С помощью моделей Foundry можно:

• Изучите широкий каталог передовых моделей от Майкрософт, OpenAI, DeepSeek, Hugging Face, Meta и многое другое.
• Сравнение и оценка моделей параллельно с использованием реальных задач и собственных данных.
• Благодаря встроенным инструментам для точной настройки, наблюдаемости и ответственного ИИ вы можете развёртывать с уверенностью.
• Выберите свой путь— принесите собственную модель, используйте размещенную модель или легко интегрируйте с Azure службами.

Независимо от того, является ли вы разработчиком, data scientist или корпоративным архитектором, Foundry Models дает вам гибкость и контроль над созданием решений искусственного интеллекта, которые масштабируем, безопасно, ответственно и быстро.

Foundry предлагает полный каталог моделей искусственного интеллекта. Существует более 1900 моделей, которые варьируются от базовых моделей, моделей причин, небольших языковых моделей, многомодальных моделей, моделей для конкретных областей и отраслевых моделей.

Каталог моделей организован на две основные категории:

• Модели, продаваемые непосредственно компанией Azure
• Модели от партнеров и сообщества

Понимание различий между этими категориями помогает выбрать правильные модели для конкретных требований и стратегических целей.

Модели, проданные непосредственно Azure

Также известные как Azure Direct модели или Прямо с моделей Azure, эти модели размещаются и продаются Microsoft в соответствии с условиями использования продуктов Microsoft. Корпорация Майкрософт оценила эти модели и глубоко интегрирована в экосистему ИИ Azure. Модели поступают от различных поставщиков и обеспечивают расширенную интеграцию, оптимизированную производительность и прямую поддержку Microsoft, включая соглашения о корпоративном уровне обслуживания (СОГЛАШЕНИЯ об уровне обслуживания).

Характеристики моделей, проданных непосредственно Azure:

• Поддержка, доступная корпорацией Майкрософт.
• Высокий уровень интеграции со службами и инфраструктурой Azure.
• Подлежит внутренней проверке на основе стандартов ответственного искусственного интеллекта Майкрософт.
• Документация по модели и отчеты о прозрачности предоставляют клиентам понимание рисков, мер по снижению рисков и ограничений модели.
• Масштабируемость, надежность и безопасность корпоративного уровня.

Некоторые из этих моделей также предлагают взаимозаменяемую подготовленную пропускную способность, что означает, что вы можете гибко использовать квоту и резервирования в любой из этих моделей. Сведения о том, как Foundry обрабатывает данные, которые предоставляются Foundry для моделей, продаваемых напрямую Azure, см. в статье Данные, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая версия).

Модели от партнеров и сообщества

Эти модели составляют подавляющее большинство моделей Foundry и предоставляются доверенными сторонними организациями, партнерами, исследовательскими лабораториями и участниками сообщества. Эти модели предлагают специализированные и разнообразные возможности искусственного интеллекта, охватывающие широкий спектр сценариев, отраслей и инноваций. Примеры моделей от партнеров и сообщества — это семейство крупных языковых моделей, разработанных Anthropic, и открытых моделей из хаба Hugging Face.

Anthropic включает семейство современных моделей большого языка Claude, которые поддерживают ввод текста и изображений, вывод текста, многоязычные функции и возможности в области зрения. Для получения помощи с антропическими моделями используйте Microsoft Support. Дополнительные сведения о конфиденциальности см. в статьях "Данные", "Конфиденциальность" и "Безопасность" для моделей Claude в Microsoft Foundry (предварительная версия) и политике конфиденциальности anthropic. Условия обслуживания см. в разделе "Коммерческие условия обслуживания". Сведения о работе с антропическими моделями см. в статье "Развертывание и использование моделей Claude в Microsoft Foundry".

Центр Hugging Face включает сотни моделей для инференции в режиме реального времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Чтобы получить помощь с моделями Hugging Face, используйте форум Hugging Face или поддержку Hugging Face. Узнайте, как развертывать модели Hugging Face в руководстве по развертыванию и инференсу с помощью управляемого вычислительного развертывания (классическая версия).

Характеристики моделей от партнеров и сообщества:

• Разработан и поддерживается внешними партнерами и участниками сообщества
• Разнообразный спектр специализированных моделей, предназначенных для нишевых или более широких вариантов использования.
• Как правило, проверяется самими поставщиками с рекомендациями по интеграции, предоставляемыми Azure
• Инновации, управляемые сообществом, и быстрая доступность передовых моделей
• Стандартная интеграция Azure ИИ с поддержкой и обслуживанием, управляемыми соответствующими поставщиками

Модели партнеров и сообщества можно развертывать с помощью управляемых вычислительных ресурсов или бессерверных параметров развертывания . Поставщик модели выбирает способ развертывания моделей. Сведения о типах развертывания, доступных в параметре бессерверного развертывания, см. в разделе "Типы развертывания" для моделей Microsoft Foundry (классическая модель).

Запрос модели для включения в каталог моделей

Запрос на добавление модели в каталог моделей прямо на странице каталога моделей на портале Foundry.

1. Перейдите на страницу каталога моделей.
2. На панели поиска найдите модель, которая не существует в каталоге, например mymodel.
3. Выберите "Запросить модель", чтобы предоставить доступ к сведениям о модели, которую вы хотите запросить.

Выбор между моделями, проданными непосредственно Azure и моделями от партнеров и сообщества

При выборе используемых моделей Foundry следует учитывать следующее:

• Использование вариантов и требований: модели, проданные непосредственно Azure, идеально подходят для сценариев, требующих глубокой интеграции Azure, гарантированной поддержки и корпоративных соглашений об уровне обслуживания. Модели партнеров и сообщества превосходно работают в специализированных вариантах использования и инновационных сценариях.
• Ожидания от поддержки: модели, проданные непосредственно через Azure, обеспечивают надежную поддержку и обслуживание от Microsoft. Модели партнеров и сообщества поддерживаются их поставщиками с различными уровнями соглашения об уровне обслуживания и структурами поддержки.
• Инновации и специализация: модели от партнеров и сообщества предлагают быстрый доступ специализированных инноваций и нишевых возможностей, часто разработанных ведущими исследовательскими лабораториями и новыми поставщиками технологий ИИ.

Общие сведения о возможностях каталога моделей

Каталог моделей на портале Foundry — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. В каталоге моделей представлены сотни моделей, таких как Azure OpenAI, Mistral, Meta, Cohere, NVIDIA и Hugging Face, включая модели, обученные Корпорацией Майкрософт. Модели от поставщиков, отличных от корпорации Майкрософт, являются продуктами, не являющихся корпорацией Майкрософт, как определено в условиях продуктов Майкрософт, и применяются к условиям, предоставленным моделями.

Поиск и обнаружение моделей, которые соответствуют вашим потребностям с помощью поиска ключевых слов и фильтров. Каталог моделей также предлагает таблицу лидеров производительности моделей и эталонные метрики для выбранных моделей. Получите к ним доступ, выбрав Просмотр лидеров и Сравнить модели. Данные эталонных показателей также доступны на вкладке "Бенчмарки модели".

Ниже перечислены некоторые фильтры , доступные в каталоге моделей:

• Коллекция: фильтрация моделей на основе коллекции поставщиков моделей.
• Отрасль: Фильтруйте модели, обученные на наборе данных, специфическом для отрасли.
• Возможности: фильтрация уникальных особенностей модели, таких как логическое рассуждение и вызов инструментов.
• Задачи вывода: фильтрация моделей на основе типа задачи вывода.

Ниже приведены некоторые сведения, доступные в карточке модели :

• Краткие факты: ключевые сведения о модели на быстром взгляде
• Вкладка "Сведения": подробные сведения о модели, например описание, сведения о версии и поддерживаемый тип данных
• Вкладка "Тесты тестирования " — метрики теста производительности для выборки моделей
• Вкладка "Развертывания" : список существующих развертываний для модели
• Вкладка "Лицензия": юридическая информация, связанная с лицензированием модели

Варианты развертывания модели: управляемые вычислительные ресурсы и бессерверные развертывания

Каталог моделей предлагает два различных варианта развертывания моделей для использования: управляемые вычислительные и бессерверные развертывания. Сведения о обработке данных с параметрами развертывания см. в статье "Данные,конфиденциальность и безопасность" для использования моделей с помощью каталога моделей на портале Microsoft Foundry (классическая модель). Сведения о том, как Foundry обрабатывает данные, которые предоставляются Foundry для моделей, продаваемых напрямую Azure, см. в статье Данные, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая версия).

Возможности параметров развертывания модели

Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующей таблице:

Доступные модели для поддерживаемых вариантов развертывания

Просмотрите список поддерживаемых моделей для бессерверного развертывания или управляемых вычислений из hub-проекта в каталоге моделей.

1. Откройте портал Foundry и выберите проект на базе концентратора.
2. Выберите каталог моделей , чтобы открыть домашнюю страницу.
3. Используйте фильтр параметров развертывания , чтобы выбрать развертывание бессерверных API или управляемые вычисления.

Управляемые вычисления

Возможность развертывать модели, используя управляемые вычислительные ресурсы, основывается на платформенных возможностях Azure Machine Learning для обеспечения бесшовной интеграции широкой коллекции моделей в каталоге моделей в течение всего жизненного цикла операций с большими языковыми моделями (LLM).

Доступность моделей для развертывания как управляемых вычислительных сервисов

Модели доступны через реестры Azure Machine Learning. Эти реестры позволяют применять подход, в котором приоритет отдается машинному обучению, к размещению и распространению активов Azure Machine Learning. К этим ресурсам относятся веса моделей, контейнерные среды выполнения для запуска моделей, конвейеры для оценки и точной настройки моделей, а также наборы данных для тестов и примеров.

Реестры создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:

• Предоставляет доступ к артефактам модели с низкой задержкой во всех регионах Azure благодаря встроенной георепликации.

• Поддерживает требования корпоративной безопасности, такие как ограничение доступа к моделям с помощью Azure Policy и безопасное развертывание с помощью управляемых виртуальных сетей.

Развертывание моделей для вывода с помощью управляемых вычислений

Модели, доступные для развертывания на управляемых вычислительных мощностях, могут быть развернуты на управляемой вычислительной среде Azure Machine Learning для выполнения в режиме реального времени. Чтобы развернуть управляемые вычислительные ресурсы, вам потребуется квота виртуальной машины в подписке Azure для конкретных продуктов, чтобы оптимально запустить модель. Некоторые модели позволяют развертывать модели на временно предоставленной общей квоте для тестирования.

Дополнительные сведения о развертывании моделей:

• Сведения о развертывании открытых моделей для управляемых вычислений см. в статье "Развертывание и вывод с помощью управляемого вычислительного развертывания (классического)".
• Сведения о развертывании защищенных моделей Foundry для управляемых вычислений с помощью выставления счетов по мере использования см. в статье "Развертывание моделей Microsoft Foundry для управляемых вычислений с помощью выставления счетов по мере использования" (классическая модель).

Создание генеративных ИИ приложений с помощью управляемых вычислительных ресурсов

Функция prompt flow в Azure Machine Learning предлагает отличные возможности для прототипирования. Используйте модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных средствах LLM, таких как LangChain с расширением Azure Machine Learning.

Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы

Служба Azure AI Content Safety доступна для использования с управляемыми вычислительными мощностями для фильтрации различных категорий вредного содержимого, таких как сексуальное содержимое, насилие, ненависть и самоповреждение. Вы также можете использовать службу для анализа дополнительных угроз, таких как обнаружение рисков джейлбрейка и обнаружение защищенного текста материала.

Для ознакомления с интеграцией с Azure AI Content Safety для Llama 2 см. этот ноутбук. Или используйте средство Content Safety (Text) в потоке запросов для передачи ответов от модели Azure AI Content Safety для проверки. Как это описано в ценообразовании Azure AI Content Safety, плата взимается отдельно за использование.

Бессерверные развертывания

Бессерверные развертывания позволяют использовать модели Foundry в качестве API без размещения их в подписке. Модели размещаются в инфраструктуре, управляемой корпорацией Майкрософт, что позволяет API-доступ к моделям поставщика. Доступ на основе API может значительно сократить затраты на использование модели и упростить настройку.

Модели, доступные для бессерверных развертываний, предлагаются поставщиком моделей, но они размещаются в инфраструктуре, управляемой Корпорацией Майкрософт Azure, и доступ к ней осуществляется через API. Поставщики моделей определяют условия лицензии и устанавливают цену на использование своих моделей. Служба Azure Machine Learning:

• Управляет инфраструктурой размещения.
• Делает API вывода результатов доступными.
• Выступает в качестве обработчика данных для вводимых данных и результатов обработки содержимого для бессерверных развертываний.

Типы бессерверных развертываний

Вариант бессерверного развертывания для Модели Foundry предлагает две основные категории развертывания: стандартная (оплата за токен) и подготовленная (зарезервированная емкость). В каждой категории можно выбрать глобальную, зону данных или региональную обработку на основе требований соответствия требованиям.

Доступные типы бессерверных развертываний: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned и Developer. Дополнительные сведения об этих типах развертывания и о том, как выбрать подходящий для использования, см. в разделе "Типы развертывания" для моделей Microsoft Foundry (классическая модель).

Выставление счетов за бессерверные развертывания

Интерфейс обнаружения, подписки и потребления моделей, развернутых как бессерверные развертывания, находится на портале Foundry и Azure Machine Learning studio. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление доступны во время развертывания.

Модели Foundry от партнеров и сообщества оплачиваются через Azure Marketplace в соответствии с «Условиями использования Microsoft Commercial Marketplace».

Модели Foundry, проданные непосредственно Azure, выставляются через счетчики Azure как первосторонние услуги по потреблению. Как описано в разделе Product Terms, вы приобретаете службы потребления собственного производства с помощью измерителей Azure, но они не регулируются условиями обслуживания Azure. Использование этих моделей подпадает под указанные лицензионные условия.

Тонкая настройка моделей

Некоторые модели также поддерживают точную настройку. Для этих моделей можно использовать управляемые вычислительные ресурсы или бессерверные развертывания для настройки моделей с помощью предоставленных данных. Дополнительные сведения см. в разделе "Точная настройка моделей с помощью Microsoft Foundry (classic)".

RAG с моделями, развернутыми как бессерверные развертывания

На портале Foundry используйте векторные индексы и генерацию с расширенным извлечением (RAG) с моделями, развернутыми с помощью бессерверных развертываний, для создания эмбеддингов и инференса на основе пользовательских данных. Эти внедрения и вывод могут затем создавать ответы, относящиеся к вашему варианту использования. Дополнительные сведения см. в разделе "Сборка и использование векторных индексов" на портале Microsoft Foundry (классическая модель).

Региональная доступность предложений и моделей

Доступность оплаты за токен обеспечивается только для пользователей, чья подписка на Azure принадлежит учетной записи выставления счетов в стране или регионе, где предложение было сделано доступным поставщиком модели. Если предложение доступно в соответствующем регионе, пользователь должен иметь проектный ресурс в регионе Azure, где модель доступна для развертывания или тонкой настройки, если это применимо. Подробные сведения см. в разделе "Доступность регионов" для моделей в бессерверных развертываниях (классических).

Безопасность содержимого для моделей, развернутых с помощью бессерверных развертываний

Для языковых моделей, развернутых через бессерверный API, Azure ИИ реализует фильтры модерации текста Azure AI Content Safety по умолчанию, которые обнаруживают вредный контент, например ненависть, самоповреждение, сексуальный и насильственный контент. Дополнительные сведения о фильтрации содержимого см. в разделе Ограничения и элементы управления для моделей, продаваемых напрямую компанией Azure.

Фильтрация содержимого выполняется синхронно, когда служба обрабатывает запросы на создание контента. Вам может быть выставлен отдельный счет в соответствии с ценами Azure AI Content Safety за такое использование. Вы можете отключить фильтрацию содержимого для отдельных бессерверных конечных точек:

• Во время первого развертывания языковой модели
• Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, что вы решили использовать API, отличный от API инференции модели для работы с моделью, развернутой через бессерверный API. В такой ситуации фильтрация содержимого не включена, если только вы не реализуете его отдельно с помощью Azure AI Content Safety.

Чтобы начать работу с Azure AI Content Safety, см. Quickstart: анализ текстового содержимого. Если при работе с моделями, развернутыми через бессерверный API, вы не используете фильтрацию содержимого, вы рискуете предоставить пользователям вредное содержимое.

Сетевая изоляция для моделей, развернутых с помощью бессерверных развертываний

Конечные точки для моделей, развернутых в виде бессерверных развертываний, следуют настройкам флага общедоступной сети концентратора Foundry, в проекте которой существует развертывание. Чтобы защитить бессерверное развертывание, отключите флаг доступа к публичной сети на узле Foundry. Вы можете защитить входящий трафик от клиента к конечной точке с помощью частной конечной точки для концентратора.

Чтобы задать флаг доступа к общедоступной сети для Центра Foundry:

1. Перейдите к Azure portal.
2. Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр Foundry из ресурсов, перечисленных для этой группы ресурсов.
3. На странице обзора концентратора на левой панели перейдите в раздел "Параметры>сети".
4. На вкладке Public access настройте параметры для флага общедоступного сетевого доступа.
5. Сохраните ваши изменения. Для распространения изменений может потребоваться до пяти минут.

Ограничения

• Если у вас есть узел Foundry с частной конечной точкой связи, созданной до 11 июля 2024 года, бессерверные развертывания, добавленные в проекты в этом узле, не будут следовать конфигурации сети узла. Вместо этого создайте новую частную конечную точку для концентратора и новое бессерверное развертывание в проекте, чтобы новые развертывания могли следовать сетевой конфигурации концентратора.

• Если у вас есть центр Foundry с бессерверными развертываниями, созданными до 11 июля 2024 г., и вы включите частную конечную точку в этом концентраторе, существующие бессерверные развертывания не будут соответствовать конфигурации сети концентратора. Чтобы бессерверные развертывания в концентраторе следовали конфигурации сети концентратора, создайте развертывания снова.

• В настоящее время поддержка Azure OpenAI On Your Data недоступна для бессерверных развертываний в частных центрах, так как флаг доступа к публичной сети в частных центрах отключен.

• Любое изменение конфигурации сети (например, включение или отключение флага общедоступной сети access) может занять до пяти минут для распространения.

Жизненный цикл модели: устаревание и прекращение использования

Модели ИИ развиваются быстро, и когда новая версия или новая модель с обновленными возможностями в том же семействе моделей становится доступной, старые модели могут быть сняты в каталоге моделей Foundry. Чтобы обеспечить плавное переход на более новую версию модели, некоторые модели позволяют пользователям включать автоматические обновления. Дополнительные сведения о жизненном цикле модели различных моделей, предстоящих датах выхода на пенсию модели и предлагаемых моделях замены см. в следующих примерах:

• Устаревание и выведение из эксплуатации моделей Azure OpenAI в Microsoft Foundry (классическая)
• Устаревание и снятие с эксплуатации моделей Microsoft Foundry (классические)

Связанный контент

• Данные, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая)
• Данные, конфиденциальность и безопасность для использования моделей с помощью каталога моделей на портале Microsoft Foundry (классическая модель)