Поддерживаемые основные модели на платформе Mosaic AI Model Serving

В этой статье описаны базовые модели, которые можно обслуживать с помощью службы модели ИИ Мозаики.

Базовые модели представляют собой большие, предварительно обученные нейронные сети, обученные как на больших, так и на широких диапазонах данных. Эти модели предназначены для изучения общих шаблонов на языке, изображениях или других типах данных и могут быть точно настроены для конкретных задач с дополнительным обучением. Использование определенных базовых моделей зависит от лицензии разработчика модели и приемлемой политики использования. Ознакомьтесь с лицензиями и условиями разработчика применимых моделей.

Служба моделей предлагает гибкие варианты размещения и запроса базовых моделей на основе ваших потребностей:

• Оптимизированные модели функций ИИ: подмножество размещенных моделей Databricks оптимизировано для функций ИИ. Вы можете применять ИИ к данным и запускать рабочие нагрузки пакетной обработки в масштабах производства с помощью этих функций и поддерживаемых моделей.
• Оплата за токен: идеально подходит для экспериментирования и быстрого изучения. Этот параметр позволяет запрашивать предварительно настроенные конечные точки в рабочей области Databricks без предварительных обязательств по инфраструктуре.
• Подготовленная пропускная способность: рекомендуется для рабочих вариантов использования, требующих гарантий производительности. Этот параметр позволяет развертывать точно настроенные базовые модели с оптимизированными конечными точками обслуживания.
• Внешние модели: этот параметр обеспечивает доступ к базовым моделям, размещенным за пределами Databricks, например к моделям, предоставляемым OpenAI или Anthropic. Эти модели можно централизованно управлять в Databricks для упрощения управления.

Базовые модели, размещенные в Databricks

Databricks размещает современные модели открытого фонда, такие как Мета Лама. Эти модели доступны с помощью API-интерфейсов модели Foundation.

В следующей таблице приведены сведения о том, какие семейства моделей и моделей, размещенные в Databricks, поддерживаются в каждом регионе на основе функции обслуживания моделей.

* Эта модель поддерживается на основе доступности GPU и требует включения межстранионной маршрутизации.

Доступ к фундаментальным моделям, размещенным за пределами Databricks

Базовые модели, созданные поставщиками LLM, такими как OpenAI и Anthropic, также доступны в Databricks с помощью внешних моделей. Эти модели размещаются за пределами Databricks и можно создать конечную точку для их запроса. Эти конечные точки можно централизованно управлять из Azure Databricks, что упрощает использование и управление различными поставщиками LLM в организации.

В следующей таблице представлен неполный список поддерживаемых моделей и соответствующие типы конечных точек . Сопоставления перечисленных моделей помогут вам настроить конечную точку для всех недавно выпущенных типов моделей, так как они становятся доступными для данного поставщика. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

Поставщик моделей ** поддерживает кастомизированные модели завершения и чата. Чтобы запросить настраиваемую модель, заполните поле name конфигурации external model именем настраиваемой модели.

† Поставщик моделей поддерживает пользовательские модели завершения.

Создание базовых моделей обслуживания конечных точек

Чтобы запрашивать и использовать базовые модели в приложениях ИИ, необходимо сначала создать конечную точку обслуживания модели. Служба моделей использует унифицированный API и пользовательский интерфейс для создания и обновления конечных точек службы базовых моделей.

• Чтобы создать конечную точку, которая обслуживает точно настроенные варианты базовых моделей, доступных с помощью API моделей Foundation с обеспеченной пропускной способностью, см. статью "Создание конечной точки с обеспеченной пропускной способностью с помощью REST API".
• Сведения о создании конечных точек обслуживания, которые получают доступ к базовым моделям с помощью предложения внешних моделей, см. в статье "Создание внешней конечной точки обслуживания модели".

Модель создания запросов, обслуживающая конечные точки

После того как вы создадите конечную точку обслуживания, вы сможете выполнить запрос к базовой модели. Служба моделей использует унифицированный API, совместимый с OpenAI, и пакет SDK для запроса базовых моделей. Этот унифицированный интерфейс упрощает экспериментирование и настройку базовых моделей для рабочей среды в поддерживаемых облаках и поставщиках.

См. статью "Использование базовых моделей".