Каталог моделей и коллекции в Azure AI Studio

Каталог моделей в Azure AI Studio — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Каталог моделей включает сотни моделей в таких поставщиках моделей, как Azure OpenAI Service, Mistral, Meta, Cohere, NVIDIA и Hugging Face, включая модели, обученные Корпорацией Майкрософт. Модели от поставщиков, отличных от корпорации Майкрософт, являются продуктами, не являющихся корпорацией Майкрософт, как определено в условиях продуктов Майкрософт, и применяются к условиям, предоставленным моделями.

Коллекции моделей

Каталог моделей упорядочивает модели в разные коллекции:

• Курируется ИИ Azure: самые популярные модели, отличные от Корпорации Майкрософт с открытым весом и закрытыми моделями, упакованными и оптимизированными для эффективной работы на платформе ИИ Azure. Использование этих моделей распространяется на условия лицензионного соглашения поставщиков моделей. При развертывании этих моделей в Azure AI Studio их доступность распространяется на применимое соглашение об уровне обслуживания Azure (SLA), а корпорация Майкрософт предоставляет поддержку проблем с развертыванием.

  Модели от партнеров, таких как Meta, NVIDIA и Mistral AI, являются примерами моделей, доступных в этой коллекции в каталоге. Эти модели можно определить, найдите зеленый флажок на плитках модели в каталоге. Вы также можете отфильтровать данные по коллекции ИИ Azure.

• Модели Azure OpenAI доступны исключительно в Azure: флагманские модели Azure OpenAI, доступные через интеграцию со службой Azure OpenAI. Корпорация Майкрософт поддерживает эти модели и их использование в соответствии с условиями продукта и соглашением об уровне обслуживания для Azure OpenAI Service.

• Откройте модели из концентратора распознавания лиц Hugging: сотни моделей из концентратора распознавания лиц для вывода в режиме реального времени с управляемыми вычислениями. Hugging Face создает и поддерживает модели, перечисленные в этой коллекции. Чтобы помочь, воспользуйтесь форумом hugging Face или Hugging Face support. Дополнительные сведения см. в разделе "Развертывание открытых моделей с помощью Azure AI Studio".

Вы можете отправить запрос на добавление модели в каталог моделей с помощью этой формы.

Общие сведения о возможностях каталога моделей

Вы можете искать и обнаруживать модели, соответствующие вашим требованиям keyword search , и filters. Каталог моделей также предлагает метрики показателей производительности модели для выбора моделей. Вы можете получить доступ к эталону, щелкнув Compare Models или на вкладке "Тест тестирования модели".

На карточке модели вы найдете:

• Краткие факты: вы увидите ключевые сведения о модели на быстром взгляде.
• Сведения: эта страница содержит подробные сведения о модели, включая описание, сведения о версии, поддерживаемый тип данных и т. д.
• Тесты: вы найдете метрики теста производительности для выбора моделей.
• Существующие развертывания: если вы уже развернули модель, ее можно найти на вкладке "Существующие развертывания".
• Примеры кода: вы найдете основные примеры кода для начала разработки приложений ИИ.
• Лицензия: вы найдете юридическую информацию, связанную с лицензированием модели.
• Артефакты: эта вкладка будет отображаться только для открытых моделей. Вы можете просмотреть ресурсы модели и скачать их с помощью пользовательского интерфейса.

Развертывание модели: Azure OpenAI

Дополнительные сведения о моделях Azure OpenAI см. в статье "Что такое Служба Azure OpenAI?".

Развертывание модели: управляемые вычислительные и бессерверные API

Помимо моделей службы Azure OpenAI, каталог моделей предлагает два различных способа развертывания моделей для использования: управляемые вычислительные и бессерверные API.

Варианты развертывания и функции, доступные для каждой модели, зависят, как описано в следующих таблицах. Дополнительные сведения об обработке данных с параметрами развертывания.

Возможности параметров развертывания модели

Доступные модели для поддерживаемых вариантов развертывания

В следующем списке содержатся модели бессерверных API. Модели Azure OpenAI см. в разделе "Модели службы Azure OpenAI".

Управляемые вычисления

Возможность развертывания моделей в качестве управляемых вычислительных ресурсов основана на возможностях платформы Машинное обучение Azure для обеспечения простой интеграции широкой коллекции моделей в каталоге моделей во всем жизненном цикле операций с крупной языковой моделью (LLM).

Доступность моделей для развертывания как управляемых вычислений

Модели становятся доступными с помощью Машинное обучение Azure реестров. Эти реестры позволяют использовать подход машинного обучения к размещению и распределению Машинное обучение Azure ресурсов. К этим ресурсам относятся весы моделей, среды выполнения контейнеров для выполнения моделей, конвейеры для оценки и точной настройки моделей, а также наборы данных для тестов и примеров.

Реестры создаются на основе высокомасштабируемой и корпоративной инфраструктуры, которая:

• Предоставляет артефакты модели доступа с низкой задержкой во всех регионах Azure с встроенной георепликацией.

• Поддерживает требования корпоративной безопасности, такие как ограничение доступа к моделям с помощью Политика Azure и безопасного развертывания с помощью управляемых виртуальных сетей.

Развертывание моделей для вывода с помощью управляемых вычислений

Модели, доступные для развертывания для управляемых вычислений, можно развернуть для Машинное обучение Azure управляемых вычислений для вывода в режиме реального времени. При развертывании на управляемых вычислительных ресурсах требуется квота виртуальной машины в подписке Azure для определенных продуктов, которые необходимо оптимально запустить модель. Некоторые модели позволяют развертывать временно общую квоту для тестирования моделей.

Дополнительные сведения о развертывании моделей:

• Развертывание моделей Meta Llama
• Развертывание открытых моделей Azure AI Studio

Создание созданных приложений ИИ с помощью управляемых вычислений

Функция потока запросов в Машинное обучение Azure предлагает отличный интерфейс для создания прототипов. Модели, развернутые с управляемыми вычислительными ресурсами в потоке запросов, можно использовать с помощью средства Open Model LLM. Вы также можете использовать REST API, предоставляемый управляемыми вычислениями, в популярных инструментах LLM, таких как LangChain с расширением Машинное обучение Azure.

Безопасность содержимого для моделей, развернутых как управляемые вычислительные ресурсы

Служба безопасности содержимого ИИ Azure доступна для использования с управляемыми вычислительными ресурсами на экране для различных категорий вредного содержимого, таких как сексуальное содержимое, насилие, ненависть и самоповредение. Вы также можете использовать службу для просмотра дополнительных угроз, таких как обнаружение рисков в тюрьме и обнаружение защищенного текста материала.

Эту записную книжку можно использовать для справки по интеграции с безопасностью содержимого ИИ Azure для Llama 2. Кроме того, вы можете использовать средство "Безопасность содержимого ( текст) в потоке запроса для передачи ответов от модели в Службу безопасности содержимого ИИ Azure для проверки. Плата взимается отдельно за использование, как описано в ценах на безопасность содержимого ИИ Azure.

Выставление счетов за бессерверный API (оплата за токен)

Некоторые модели можно развернуть в каталоге моделей с выставлением счетов за токен. Этот метод развертывания, также называемый БЕССерверным API, предоставляет способ использования моделей в качестве API без размещения их в подписке. Модели размещаются в управляемой корпорацией Майкрософт инфраструктуре, которая обеспечивает доступ на основе API к модели поставщика моделей. Доступ на основе API может значительно сократить затраты на доступ к модели и упростить процесс подготовки.

Модели, доступные для развертывания в качестве бессерверных API с выставлением счетов по мере использования, предлагаются поставщиком моделей, но они размещаются в инфраструктуре, управляемой Корпорацией Майкрософт, и доступ к ним осуществляется через API. Поставщики моделей определяют условия лицензии и устанавливают цену на использование своих моделей. Служба Машинное обучение Azure:

• Управляет инфраструктурой размещения.
• Делает интерфейсы API вывода доступными.
• Выступает в качестве обработчика данных для запросов, отправленных и выходных данных содержимого моделями, развернутыми с помощью MaaS.

Дополнительные сведения об обработке данных для MaaS см. в статье о конфиденциальности данных.

Выставление счетов

Интерфейс обнаружения, подписки и потребления моделей, развернутых с помощью MaaS, находится в Azure AI Studio и Студия машинного обучения Azure. Пользователи принимают условия лицензии для использования моделей. Сведения о ценах на потребление предоставляются во время развертывания.

Счета за модели от поставщиков, отличных от Майкрософт, выставляются через Azure Marketplace в соответствии с условиями использования Коммерческой платформы Майкрософт.

Счета за модели от Корпорации Майкрософт выставляются через метры Azure в качестве служб потребления первой стороны. Как описано в условиях продукта, вы приобретаете службы потребления первой стороны с помощью счетчиков Azure, но они не применяются к условиям службы Azure. Использование этих моделей распространяется на указанные условия лицензионного соглашения.

Модели точной настройки

Некоторые модели также поддерживают бессерверную настройку. Для этих моделей можно воспользоваться преимуществами размещенной точной настройки с выставлением счетов по мере использования, чтобы настроить модели с помощью предоставленных данных. Дополнительные сведения см. в обзоре тонкой настройки.

RAG с моделями, развернутыми как бессерверные API

В Azure AI Studio можно использовать векторные индексы и расширенное поколение (RAG). Вы можете использовать модели, которые можно развернуть с помощью бессерверных API для создания внедрения и вывода на основе пользовательских данных. Эти внедрения и вывод могут затем создавать ответы, относящиеся к вашему варианту использования. Дополнительные сведения см. в статье о сборке и использовании векторных индексов в Azure AI Studio.

Региональная доступность предложений и моделей

Выставление счетов за токен доступно только пользователям, подписка Azure которой принадлежит учетной записи выставления счетов в стране, где поставщик моделей сделал предложение доступным. Если предложение доступно в соответствующем регионе, пользователь должен иметь ресурс проекта в регионе Azure, где модель доступна для развертывания или тонкой настройки, как применимо. Доступность регионов для моделей в конечных точках API без сервера | Azure AI Studio для получения подробных сведений.

Безопасность содержимого для моделей, развернутых с помощью бессерверных API

Для языковых моделей, развернутых с помощью бессерверных API, Azure AI реализует конфигурацию по умолчанию фильтров модерации текста безопасности содержимого ИИ Azure, которые обнаруживают вредное содержимое, например ненависть, самоповредение, сексуальное и насильственное содержимое. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в статьях "Безопасность содержимого ИИ Azure".

Фильтрация содержимого (предварительная версия) выполняется синхронно, так как процессы службы запрашивают создание содержимого. Вы можете выставлять счета отдельно в соответствии с ценами на безопасность содержимого искусственного интеллекта Azure для такого использования. Вы можете отключить фильтрацию содержимого (предварительная версия) для отдельных бессерверных конечных точек:

• Во время первого развертывания языковой модели
• Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, вы решите использовать API, отличный от API вывода модели ИИ Azure, для работы с моделью, развернутой через бессерверный API. В такой ситуации фильтрация содержимого (предварительная версия) не включена, если только вы не реализуете его отдельно с помощью безопасности содержимого ИИ Azure.

Сведения о начале работы с безопасностью содержимого ИИ Azure см . в кратком руководстве по анализу текстового содержимого. Если при работе с моделями, развернутыми через бессерверные API, не используется фильтрация содержимого (предварительная версия), то при работе с моделями, развернутыми через бессерверные API, возникает более высокий риск предоставления пользователям вредного содержимого.

Сетевая изоляция для моделей, развернутых с помощью бессерверных API

Управляемые вычисления для моделей, развернутых как бессерверные API, следуют параметру флага доступа к общедоступной сети концентратора AI Studio, в котором находится проект, в котором существует развертывание. Чтобы защитить управляемые вычислительные ресурсы, отключите флаг доступа к общедоступной сети в концентраторе AI Studio. Вы можете защитить входящий трафик от клиента к управляемому вычислению с помощью частной конечной точки для концентратора.

Чтобы задать флаг доступа к общедоступной сети для центра AI Studio, выполните следующие действия.

• Переход на портал Azure.
• Найдите группу ресурсов, к которой принадлежит концентратор, и выберите центр AI Studio из ресурсов, перечисленных для этой группы ресурсов.
• На странице обзора концентратора на левой панели перейдите в раздел "Параметры>сети".
• На вкладке "Общедоступный доступ" можно настроить параметры для флага доступа к общедоступной сети.
• Сохранение изменений. Для распространения изменений может потребоваться до пяти минут.

Ограничения

• Если у вас есть центр AI Studio с управляемыми вычислительными ресурсами, созданными до 11 июля 2024 г., управляемые вычисления, добавленные в проекты в этом концентраторе, не будут соответствовать конфигурации сети концентратора. Вместо этого необходимо создать управляемые вычислительные ресурсы для концентратора и создать в проекте новые бессерверные развертывания API, чтобы новые развертывания могли следовать конфигурации сети концентратора.

• Если у вас есть центр AI Studio с развертываниями MaaS, созданными до 11 июля 2024 г., и вы включите управляемые вычисления в этом концентраторе, существующие развертывания MaaS не будут соответствовать конфигурации сети концентратора. Для развертываний бессерверных API в концентраторе, чтобы следовать конфигурации сети центра, необходимо снова создать развертывания.

• В настоящее время поддержка Azure OpenAI On Your Data недоступна для развертываний MaaS в частных центрах, так как частные центры отключили флаг доступа к общедоступной сети.

• Любое изменение конфигурации сети (например, включение или отключение флага доступа к общедоступной сети) может занять до пяти минут.

Связанный контент

• Изучение базовых моделей в Azure AI Studio