Обзор моделей Microsoft Foundry (классическая модель)

В настоящее время просмотр:Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry

Microsoft Foundry Models — это ваш главный ресурс для обнаружения, оценки и развертывания мощных моделей искусственного интеллекта, будь то создание пользовательского решения, агента, улучшение существующего приложения или изучение новых возможностей искусственного интеллекта.

С помощью моделей Foundry можно:

• Изучите широкий каталог передовых моделей из Microsoft, OpenAI, DeepSeek, Hugging Face, Meta и многое другое.
• Сравнение и оценка моделей параллельно с использованием реальных задач и собственных данных.
• Развертывайте с уверенностью благодаря встроенным инструментам для тонкой настройки, ответственного ИИ и наблюдаемости.
• Выберите свой путь— принесите собственную модель, используйте размещенную модель или легко интегрируйте с Azure службами.

Независимо от того, является ли вы разработчиком, специалистом по обработке и анализу данных или корпоративным архитектором, Foundry Models, предоставляет гибкость и контроль над созданием решений искусственного интеллекта, которые масштабируемы, безопасно, ответственно и быстро.

Foundry предлагает полный каталог моделей искусственного интеллекта. Существует более 1900 моделей, которые варьируются от базовых моделей, моделей причин, небольших языковых моделей, многомодальных моделей, моделей для конкретных областей и отраслевых моделей.

Каталог моделей организован на две основные категории:

• Модели продаются непосредственно Azure
• Модели от партнеров и сообщества

Понимание различий между этими категориями помогает выбрать правильные модели для конкретных требований и стратегических целей.

Модели, проданные непосредственно Azure

Также называются модели Azure Direct или модели Direct from Azure, эти модели размещаются и продаются Microsoft в соответствии с условиями использования продуктов Microsoft. Microsoft оценил эти модели, и они глубоко интегрированы в экосистему ИИ Azure. Модели приходят от различных поставщиков и предлагают расширенную интеграцию, оптимизированную производительность и прямую Microsoft поддержку, включая соглашения об уровне обслуживания корпоративного уровня (СОГЛАШЕНИЯ об уровне обслуживания).

Характеристики моделей, проданных непосредственно Azure:

• Поддержка, доступная из Microsoft.
• Высокий уровень интеграции со службами и инфраструктурой Azure.
• Подлежит внутренней проверке на основе стандартов ответственного ИИ Microsoft.
• Документация модели и прозрачные отчеты обеспечивают клиентам ясность в отношении рисков модели, мер по их смягчению и ограничений.
• Масштабируемость, надежность и безопасность корпоративного уровня.

Некоторые из этих моделей также предлагают гибкую выделенную пропускную способность, что означает, что вы можете гибко использовать квоты и резервы в любой из этих моделей. Сведения о том, как Foundry обрабатывает данные, которые вы предоставляете моделям Foundry, продаваемым напрямую через Azure, см. в статье Data, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая).

Модели от партнеров и сообщества

Эти модели составляют подавляющее большинство моделей Foundry и предоставляются доверенными сторонними организациями, партнерами, исследовательскими лабораториями и участниками сообщества. Эти модели предлагают специализированные и разнообразные возможности искусственного интеллекта, охватывающие широкий спектр сценариев, отраслей и инноваций. Примеры моделей от партнеров и сообщества — это семейство крупных языковых моделей, разработанных Anthropic, и открытые модели с платформы Hugging Face.

Anthropic включает семейство передовых языковых моделей Claude, поддерживающих ввод текста и изображений, вывод текста, многоязычные возможности и компьютерное зрение. Для получения помощи с моделями Anthropic обратитесь в служба поддержки Майкрософт. Чтобы узнать больше о конфиденциальности, см. статью Данные, конфиденциальность и безопасность моделей Claude в Microsoft Foundry (предварительная версия). Термины, управляющие обработкой данных, см. в дополнении о обработке данных компании Anthropic и коммерческих условиях обслуживания компании Anthropic. Сведения о том, как работать с моделями Anthropic, см. в статье Развертывание и использование моделей Claude в Microsoft Foundry.

Платформа Hugging Face включает сотни моделей для инференса в режиме реального времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Для помощи с моделями Hugging Face используйте форум Hugging Face или поддержку Hugging Face. Узнайте, как развертывать модели Hugging Face в разделе Как развертывать и выводить модели с помощью управляемого развертывания вычислений (классическое).

Характеристики моделей от партнеров и сообщества:

• Разработан и поддерживается внешними партнерами и участниками сообщества
• Разнообразный ряд специализированных моделей для нишевых или широких областей применения.
• Как правило, проверяется самими поставщиками с рекомендациями по интеграции, предоставляемыми Azure
• Инновации, управляемые сообществом, и быстрая доступность передовых моделей
• Стандартная интеграция Azure ИИ с поддержкой и обслуживанием, управляемыми соответствующими поставщиками

Модели партнеров и сообщества можно развертывать с помощью управляемых вычислительных ресурсов или бессерверных параметров развертывания . Поставщик модели выбирает способ развертывания моделей. Сведения о типах развертывания, доступных в варианте бессерверного развертывания, см. в разделе Типы развертывания для Microsoft Foundry Models (classic).

Запрос модели для включения в каталог моделей

Запрос на добавление модели в каталог моделей прямо на странице каталога моделей на портале Foundry.

1. Перейдите на страницу каталога моделей.
2. На панели поиска найдите модель, которая не существует в каталоге, например mymodel.
3. Выберите "Запросить модель", чтобы предоставить доступ к сведениям о модели, которую вы хотите запросить.

Выбор между моделями, проданными непосредственно Azure и моделями от партнеров и сообщества

При выборе используемых моделей Foundry следует учитывать следующее:

• Использование вариантов и требований: модели, проданные непосредственно Azure, идеально подходят для сценариев, требующих глубокой интеграции Azure, гарантированной поддержки и корпоративных соглашений об уровне обслуживания. Модели партнеров и сообщества превосходят в специализированных вариантах использования и инновационных сценариях.
• Ожидания по поддержке: модели, проданные непосредственно через Azure, обеспечивают надежную поддержку и обслуживание, предоставляемые Microsoft. Модели партнеров и сообщества поддерживаются их поставщиками с различными уровнями соглашения об уровне обслуживания и структурами поддержки.
• Инновации и специализация. Модели от партнеров и сообщества предлагают быстрый доступ к специализированным инновациям и нишевым возможностям, часто разработанным ведущими исследовательскими лабораториями и новыми поставщиками ИИ.

Общие сведения о возможностях каталога моделей

Каталог моделей на портале Foundry — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. В каталоге моделей представлены сотни моделей от таких поставщиков, как Azure OpenAI, Mistral, Meta, Cohere, NVIDIA и Hugging Face, включая обученные Microsoft модели. Модели от поставщиков, отличных от Microsoft, являются продуктами, не относящимися к Microsoft, как определено в Условиях использования продуктов Microsoft и подчиняются условиям, предоставленным с моделями.

Поиск и обнаружение моделей, которые соответствуют вашим потребностям с помощью поиска ключевых слов и фильтров. Каталог моделей также предлагает лидерборд производительности моделей и метрики сравнительного анализа для выбора моделей. К ним можно получить доступ, выбрав "Просмотреть список лидеров " и "Сравнить модели". Данные эталонных тестов также доступны на вкладке "Бенчмарки модели".

Ниже перечислены некоторые фильтры , доступные в каталоге моделей:

• Коллекция: фильтрация моделей на основе коллекции поставщиков моделей.
• Отрасль: фильтр для моделей, обученных на наборе данных для конкретной отрасли.
• Возможности: фильтрация уникальных характеристик модели, таких как логические рассуждения и вызов инструментов.
• Задачи вывода: фильтрация моделей на основе типа задачи вывода.

Ниже приведены некоторые сведения, доступные в карточке модели :

• Краткие факты: ключевые сведения о модели на быстром взгляде
• Вкладка "Сведения": подробные сведения о модели, например описание, сведения о версии и поддерживаемый тип данных
• Вкладка "Тесты тестирования " — метрики теста производительности для выборки моделей
• Вкладка "Развертывания" : список существующих развертываний для модели
• Вкладка "Лицензия": юридическая информация, связанная с лицензированием модели

Варианты развертывания модели: управляемые вычислительные ресурсы и бессерверные развертывания

Каталог моделей предлагает два различных варианта развертывания моделей для использования: управляемые вычислительные и бессерверные развертывания. Сведения об обработке данных с параметрами развертывания см. в статье Данные, конфиденциальность и безопасность для использования моделей через каталог моделей на портале Microsoft Foundry (классическом). Сведения о том, как Foundry обрабатывает данные, которые вы предоставляете моделям Foundry, продаваемым напрямую через Azure, см. в статье Data, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая).

Возможности параметров развертывания модели

Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующей таблице:

Доступные модели для поддерживаемых вариантов развертывания

Просмотрите список поддерживаемых моделей для бессерверного развертывания или управляемых вычислений из центрального проекта в каталоге моделей.

1. Откройте портал Foundry и выберите центральный проект.
2. Выберите каталог моделей , чтобы открыть домашнюю страницу.
3. Используйте фильтр параметров развертывания , чтобы выбрать развертывание бессерверных API или управляемые вычисления.

Управляемые вычислительные ресурсы

Возможность развертывания моделей как управляемых вычислительных ресурсов базируется на возможностях платформы Машинное обучение Azure, позволяя бесшовную интеграцию обширной коллекции моделей из каталога моделей на протяжении всего жизненного цикла операций с большими языковыми моделями (LLM).

Доступность моделей для развертывания в виде управляемых вычислительных ресурсов

Модели доступны через реестры Машинное обучение Azure. Эти регистры позволяют использовать подход, ориентированный прежде всего на машинное обучение, к хранению и распространению ресурсов Машинное обучение Azure. К этим ресурсам относятся веса моделей, среды выполнения для контейнеров для запуска моделей, потоки разработки для оценки и тонкой настройки моделей, а также наборы данных для создания эталонов и примеров.

Реестры создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:

• Обеспечивает передачу данных с низкой задержкой к артефактам модели во всех регионах Azure с встроенной георепликацией.

• Поддерживает требования корпоративной безопасности, такие как ограничение доступа к моделям с помощью Политика Azure и безопасного развертывания с помощью управляемых виртуальных сетей.

Развертывание моделей для вывода с помощью управляемых вычислений

Модели, доступные для развертывания в управляемой вычислительной среде, можно развернуть для Машинное обучение Azure в управляемой вычислительной среде для предсказательной аналитики в режиме реального времени. Чтобы развернуть управляемые вычислительные ресурсы, вам потребуется квота виртуальной машины в подписке Azure для конкретных продуктов, чтобы оптимально запустить модель. Некоторые модели позволяют развертывать временно общую квоту для тестирования моделей.

Дополнительные сведения о развертывании моделей:

• Сведения о развертывании открытых моделей для управляемых вычислений см. в статье "Развертывание и вывод с помощью управляемого вычислительного развертывания (классического)".
• Сведения о развертывании защищенных моделей Foundry для управляемых вычислений с выставлением счетов по мере использования см. в статье Deploy Microsoft Foundry Models для управления вычислительными ресурсами с оплатой по мере использования (классическая версия).

Создание приложений генеративного ИИ с помощью управляемых вычислительных ресурсов

Функция поток запросов в Машинное обучение Azure предлагает отличный опыт для прототипирования. Используйте модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных средствах LLM, таких как LangChain с расширением Машинное обучение Azure.

Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы

Служба Безопасность содержимого ИИ Azure доступна для использования с управляемыми вычислениями для фильтрации различных категорий вредоносного контента, например, сексуальный контент, насилие, ненависть и самоповреждение. Вы также можете использовать данную службу для выявления сложных угроз, таких как обнаружение рисков взлома и выявление защищенного контента.

Справочная интеграция с Безопасность содержимого ИИ Azure для Llama 2 см. в this notebook. Или используйте средство Content Safety (Text) в потоке запросов для передачи ответов от модели Безопасность содержимого ИИ Azure для проверки. За такое использование взимается отдельная плата, как описано в ценообразовании Безопасность содержимого ИИ Azure.

Бессерверные развертывания

Бессерверные развертывания позволяют использовать модели Foundry в качестве API без размещения их в подписке. Модели размещаются в управляемой Microsoft инфраструктуре, которая обеспечивает доступ на основе API к модели поставщика модели. Доступ на основе API может значительно сократить затраты на доступ к модели и упростить настройку.

Модели, доступные для бессерверных развертываний, предлагаются поставщиком моделей, но они размещаются в инфраструктуре, управляемой Microsoft Azure и доступе через API. Поставщики моделей определяют условия лицензии и устанавливают цену на использование своих моделей. Служба Машинное обучение Azure:

• Управляет инфраструктурой размещения.
• Делает доступными API инференса.
• Выступает в качестве обработчика данных для отправленных запросов и данных содержимого на выходе для бессерверных развертываний.

Типы бессерверных развертываний

Вариант бессерверного развертывания для Модели Foundry предлагает две основные категории развертывания: стандартная (оплата за токен) и подготовленная (зарезервированная емкость). В каждой категории можно выбрать глобальную, зону данных или региональную обработку на основе требований соответствия требованиям.

Доступные типы бессерверных развертываний: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned и Developer. Дополнительные сведения об этих типах развертывания и о том, как выбрать подходящий для вашего использования, см. в разделе Типы развертывания для Microsoft Foundry Models (classic).

Выставление счетов за бессерверные развертывания

Интерфейс для подписки, обнаружения и использования моделей, развернутых как бессерверные развертывания, находится в портале Foundry и Azure Machine Learning Studio. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление доступны во время развертывания.

Модели Foundry от партнеров и сообщества оплачиваются через Azure Marketplace в соответствии с Условиями использования коммерческой платформы Microsoft.

Модели "Foundry", проданные непосредственно Azure, выставляются по счетчикам Azure как услуги потребления первой стороны. Как описано в разделе Product Terms, вы приобретаете службы потребления первой стороны (First Party) с помощью множителей Azure, но они не подлежат условиям обслуживания Azure. Использование этих моделей подчиняется предоставленным условиям лицензионного соглашения.

Модели точной настройки

Некоторые модели также поддерживают точную настройку. Для этих моделей можно использовать управляемые вычислительные ресурсы или бессерверные развертывания для настройки моделей с помощью предоставленных данных. Дополнительные сведения см. в статье Fine-tune models with Microsoft Foundry (classic).

RAG с моделями, развернутыми в режиме бессерверности

На портале Foundry используйте векторные индексы и генерацию с дополнением извлечением (RAG) с моделями, развернутыми с помощью бессерверных развертываний, для генерации встраиваний и инференции на основе пользовательских данных. Эти встраивания и инференция могут затем создавать ответы, специфичные для вашего варианта использования. Дополнительные сведения см. в разделе Создание и использование векторных индексов на портале Microsoft Foundry (классический).

Региональная доступность предложений и моделей

Оплата за использование токенов доступна только тем пользователям, чья подписка Azure принадлежит учетной записи выставления счетов в стране или регионе, где предложение поставщика модели доступно. Если предложение доступно в соответствующем регионе, пользователь должен иметь ресурс проекта в Azure регионе, где модель доступна для развертывания или тонкой настройки, как применимо. Подробные сведения см. в разделе "Доступность регионов" для моделей в бессерверных развертываниях (классических).

Безопасность содержимого для моделей, развернутых с помощью бессерверных развертываний

Для языковых моделей, развернутых через бессерверный API, Azure ИИ реализует фильтры модерации текста Безопасность содержимого ИИ Azure по умолчанию, которые выявляют вредное содержимое, например контент ненависти, самоповреждение, сексуальный и насильственный контент. Дополнительные сведения о фильтрации содержимого см. в разделе Ограничители и управляющие элементы для моделей, продаваемых напрямую через Azure.

Фильтрация содержимого выполняется синхронно при обработке службой запросов на создание содержания. Вы можете быть выставлены счета отдельно в соответствии с ценами Безопасность содержимого ИИ Azure за такое использование. Вы можете отключить фильтрацию содержимого для отдельных бессерверных конечных точек:

• Во время первого развертывания языковой модели
• Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, вы решили использовать API, отличный от API вывода модели , для работы с моделью, развернутой через бессерверный API. В такой ситуации фильтрация содержимого не включена, если только вы не реализуете его отдельно с помощью Безопасность содержимого ИИ Azure.

Сведения о начале работы с Безопасность содержимого ИИ Azure см. в статье Quickstart: анализ текстового содержимого. Если при работе с моделями, развернутыми через бессерверный API, вы не используете фильтрацию содержимого, вы рискуете предоставить пользователям вредное содержимое.

Сетевая изоляция для моделей, развернутых с помощью бессерверных развертываний

Конечные точки доступа для моделей, развернутых как бессерверные развертывания, следуют настройке флага доступа к общедоступной сети центра Foundry, где находится проект, в котором существует развертывание. Чтобы защитить бессерверное развертывание, отключите флаг доступа к общедоступной сети в Центре Foundry. Вы можете защитить входящий трафик от клиента к конечной точке с помощью частной конечной точки для концентратора.

Чтобы задать флаг доступа к общедоступной сети для центра Foundry, выполните следующие действия.

1. Перейдите на портал Azure.
2. Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр Foundry из ресурсов, перечисленных для этой группы ресурсов.
3. На странице обзора концентратора на левой панели перейдите в раздел "Параметры>сети".
4. На вкладке "Общедоступный доступ" настройте параметры для флага доступа к общедоступной сети.
5. Сохраните изменения. Для распространения изменений может потребоваться до пяти минут.

Ограничения

• Если у вас есть центр Foundry с частной конечной точкой, созданной до 11 июля 2024 г., бессерверные развертывания, добавленные в проекты в этом концентраторе, не будут следовать конфигурации сети концентратора. Вместо этого создайте частную конечную точку для концентратора и новое бессерверное развертывание в проекте, чтобы новые развертывания могли следовать конфигурации сети концентратора.

• Если у вас есть центр Foundry с бессерверными развертываниями, созданными до 11 июля 2024 г., и вы включите частную конечную точку в этом концентраторе, существующие бессерверные развертывания не будут соответствовать конфигурации сети концентратора. Чтобы бессерверные развертывания в центре следовали конфигурации сети центра, повторно создайте развертывания.

• В настоящее время поддержка Azure OpenAI On Your Data не доступна для бессерверных развертываний в частных центрах, так как частные центры имеют флаг доступа к общедоступной сети отключен.

• Любое изменение конфигурации сети (например, включение или отключение флага доступа к общедоступной сети) может занять до пяти минут.

Жизненный цикл модели: устаревание и выведение из эксплуатации

Модели ИИ развиваются быстро, и когда новая версия или новая модель с обновленными возможностями в том же семействе моделей становится доступной, старые модели могут быть сняты в каталоге моделей Foundry. Чтобы обеспечить плавное переход на более новую версию модели, некоторые модели позволяют пользователям включать автоматические обновления. Дополнительные сведения о жизненном цикле модели различных моделей, предстоящих датах выхода на пенсию модели и предлагаемых моделях замены см. в следующих примерах:

• Устаревание и снятие с поддержки моделей Azure OpenAI в Microsoft Foundry (классическое)
• Устаревание и вывод из эксплуатации моделей Microsoft Foundry (классических)

Связанное содержимое

• Данные, конфиденциальность и безопасность для прямых моделей Azure в Microsoft Foundry (классическая)
• Данные, конфиденциальность и безопасность при использовании моделей через каталог моделей в портале Microsoft Foundry (классический)