Внешние модели в сервисе Mosaic AI Model Serving

В этой статье описаны внешние модели в Службе моделей ИИ Mosaic, включая поддерживаемых поставщиков моделей и ограничения.

Что такое внешние модели?

Внешние модели — это сторонние модели, размещенные за пределами Databricks. Поддерживается службой моделей, внешние модели позволяют оптимизировать использование и управление различными поставщиками крупных языковых моделей (LLM), такими как OpenAI и Anthropic, в организации. Вы также можете использовать Mosaic AI Model Serving в качестве провайдера для развертывания пользовательских моделей, которые имеют ограничения скорости для этих конечных точек. В рамках этой поддержки служба модели предлагает высокоуровневый интерфейс, упрощающий взаимодействие с этими службами, предоставляя единую конечную точку для обработки конкретных запросов, связанных с LLM.

Кроме того, поддержка Azure Databricks для внешних моделей обеспечивает централизованное управление учетными данными. Сохраняя ключи API в одном безопасном расположении, организации могут повысить уровень безопасности, свести к минимуму воздействие конфиденциальных ключей API во всей системе. Он также помогает предотвратить размещение этих ключей в коде или необходимость безопасного управления ключами конечными пользователями.

См. Руководство: Создание конечных точек внешней модели для запроса моделей OpenAI для пошагового руководства по созданию конечных точек внешней модели и запросу поддерживаемых моделей, обслуживаемых этими конечными точками с помощью пакета SDK для развертываний MLflow. Инструкции по использованию пользовательского интерфейса обслуживания и REST API см. в следующих руководствах.

• Создание конечных точек обслуживания пользовательских моделей
• Использование базовых моделей

Требования

• Ключ API или поля проверки подлинности для поставщика моделей.
• Рабочая область Databricks в регионах с поддержкой внешних моделей.

поставщики моделей

Внешние модели в Службе моделей предназначены для поддержки различных поставщиков моделей. Поставщик представляет источник моделей машинного обучения, таких как OpenAI, Anthropic и т. д. Каждый поставщик имеет свои специфические характеристики и конфигурации, инкапсулированные в external_model поле конфигурации внешней конечной точки модели.

Поддерживаются следующие поставщики:

• openai: для моделей, предлагаемых OpenAI и интеграций Azure для Azure OpenAI и Azure OpenAI с AAD.
• антропический: Для моделей, предлагаемых Anthropic.
• cohere: Для моделей, предлагаемых Cohere.
• amazon-bedrock: Для моделей, предлагаемых Amazon Bedrock.
• google-cloud-vertex-ai: для моделей, предлагаемых Google Cloud Vertex AI.
• databricks-model-serving: для конечных точек обслуживания моделей Mosaic AI с совместимыми схемами. См. Конфигурация конечной точки.
• Настраиваемые: для альтернативных поставщиков или моделей, поддерживающих пользовательские прокси-серверы, совместимые с API OpenAI, но не поддерживаемые напрямую компанией Databricks.

Чтобы запросить поддержку от поставщика, не указанного здесь, попробуйте использовать кастомный параметр поставщика или обратитесь к команде вашего аккаунта Databricks.

Поддерживаемые модели

Выбранная модель напрямую влияет на результаты ответов, полученных от вызовов API. Поэтому выберите модель, которая соответствует вашим требованиям к варианту использования. Например, для создания ответов на беседы можно выбрать модель чата. И наоборот, для создания эмбеддингов текста можно выбрать модель эмбеддинга.

См. поддерживаемые модели .

Использование моделей, предоставляемых на конечных точках Mosaic AI Model Serving

Поставщик конечных точек Mosaic AI Model Serving поддерживается для типов конечных точек , llm/v1/completions и llm/v1/chat. Эти конечные точки должны принимать стандартные параметры запроса, помеченные как обязательные, в то время как другие параметры могут игнорироваться в зависимости от того, поддерживает ли конечная точка службы модели ИИ Мозаики.

См. POST /serving-endpoints/{name}/invocations в документации по API для стандартных параметров запроса.

Эти конечные точки должны создавать ответы в следующем формате OpenAI.

Для заданий на завершение:

{
"id": "123", # Not Required
"model": "test_databricks_model",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Для задач чата:

{
  "id": "123", # Not Required
  "model": "test_chat_model",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "\n\nHello there, how may I assist you today?",
    },
    "finish_reason": "stop"
  },
  {
    "index": 1,
    "message": {
      "role": "human",
      "content": "\n\nWhat is the weather in San Francisco?",
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Для задач встраивания:

{
  "data": [
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... # (1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    },
    {
      "embedding": [
        1.0023064255,
        -0.009327292,
        .... #(1536 floats total for ada-002)
        -0.0028842222,
      ],
      "index": 0
    }
  ],
  "model": "test_embedding_model",
  "usage": {
    "prompt_tokens": 8,
    "total_tokens": 8
  }
}

Конфигурация конечной точки

Для обслуживания и запроса внешних моделей необходимо настроить конечную точку обслуживания. См. статью "Создание внешней конечной точки обслуживания модели"

Для внешней конечной точки обслуживания модели необходимо включить поле external_model и его параметры в served_entities разделе конфигурации конечной точки. Если вы настраиваете несколько внешних моделей в конечной точке обслуживания, необходимо указать traffic_config процент маршрутизации трафика для каждой внешней модели.

Поле external_model определяет модель, в которую эта конечная точка пересылает запросы. При указании модели важно, чтобы поставщик поддерживал запрашиваемую модель. Например, openai в качестве поставщика поддерживает такие модели, как text-embedding-ada-002, но другие поставщики могут этого не делать. Если модель не поддерживается поставщиком, Databricks возвращает ошибку HTTP 4xx при попытке маршрутизировать запросы к этой модели.

В приведенной ниже таблице перечислены параметры поля external_model. Сведения о параметрах конфигурации конечной точки см. в POST /api/2.0/service-endpoints.

Ниже приведен пример создания внешней конечной точки модели с помощью create_endpoint() API. В этом примере запрос, отправленный к конечной точке завершения, пересылается в модель, предоставленную claude-2anthropic.

import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

client.create_endpoint(
    name="anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "name": "test",
                "external_model": {
                    "name": "claude-2",
                    "provider": "anthropic",
                    "task": "llm/v1/completions",
                    "anthropic_config": {
                        "anthropic_api_key": "{{secrets/my_anthropic_secret_scope/anthropic_api_key}}"
                    }
                }
            }
        ]
    }
)

Настройка поставщика для конечной точки

При создании конечной точки необходимо указать необходимые конфигурации для указанного поставщика моделей. В следующих разделах приведены общие сведения о доступных параметрах конфигурации конечной точки для каждого поставщика модели.

OpenAI

Согласовываться

Антропик

Azure OpenAI

Azure OpenAI имеет различные функции по сравнению с прямой службой OpenAI. Чтобы ознакомиться с общим представлением, пожалуйста, смотрите документацию по сравнению.

Если вы используете Azure OpenAI с идентификатором Microsoft Entra, используйте следующие параметры в конфигурации конечной точки. Databricks передает https://cognitiveservices.azure.com/ в качестве сферы действий по умолчанию для токена Microsoft Entra ID.

В следующем примере показано, как создать конечную точку с помощью Azure OpenAI:

client.create_endpoint(
    name="openai-chat-endpoint",
    config={
        "served_entities": [{
            "external_model": {
                "name": "gpt-3.5-turbo",
                "provider": "openai",
                "task": "llm/v1/chat",
                "openai_config": {
                    "openai_api_type": "azure",
                    "openai_api_key": "{{secrets/my_openai_secret_scope/openai_api_key}}",
                    "openai_api_base": "https://my-azure-openai-endpoint.openai.azure.com",
                    "openai_deployment_name": "my-gpt-35-turbo-deployment",
                    "openai_api_version": "2023-05-15"
                }
            }
        }]
    }
)

Google Cloud Vertex AI

Amazon Bedrock

Чтобы использовать Amazon Bedrock в качестве внешнего поставщика моделей, клиентам необходимо убедиться, что Bedrock включен в указанном регионе AWS, а указанная пара ключей AWS имеет соответствующие разрешения для взаимодействия со службами Bedrock. Дополнительные сведения см. в разделе "Управление удостоверениями и доступом AWS".

В следующем примере показано, как создать конечную точку с Amazon Bedrock с помощью идентификационных данных доступа.

client.create_endpoint(
    name="bedrock-anthropic-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "claude-v2",
                    "provider": "amazon-bedrock",
                    "task": "llm/v1/completions",
                    "amazon_bedrock_config": {
                        "aws_region": "<YOUR_AWS_REGION>",
                        "aws_access_key_id": "{{secrets/my_amazon_bedrock_secret_scope/aws_access_key_id}}",
                        "aws_secret_access_key": "{{secrets/my_amazon_bedrock_secret_scope/aws_secret_access_key}}",
                        "bedrock_provider": "anthropic",
                    },
                }
            }
        ]
    },
)

Если возникли проблемы с разрешениями AWS, Databricks рекомендует проверить учетные данные непосредственно с помощью API Amazon Bedrock.

Лаборатории AI21

Настраиваемый поставщик

В следующем примере показано, как создать конечную точку с настраиваемым поставщиком с помощью проверки подлинности носителя :

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://api.provider.com/chat/completions",
                        "bearer_token_auth": {
                            "token": "{{secrets/my_custom_provider_secret_scope/custom_provider_token}}"
                        }
                    }
                }
            }
        ]
    },
)

В следующем примере показано, как создать конечную точку с пользовательским поставщиком, используя аутентификацию ключа API .

client.create_endpoint(
    name="custom-provider-completions-endpoint",
    config={
        "served_entities": [
            {
                "external_model": {
                    "name": "custom-provider-model",
                    "provider": "custom",
                    "task": "llm/v1/chat",
                    "custom_provider_config": {
                        "custom_provider_url": "https://my-custom-provider.com",
                        "api_key_auth": {
                            "key": "X-API-KEY",
                            "value": "{{secrets/my_custom_provider_secret_scope/custom_provider_api_key}}"
                        }
                    }
                }
            }
        ]
    },
)

Настройка шлюза искусственного интеллекта в конечной точке

Вы также можете настроить свою конечную точку для включения функций Mosaic AI Gateway, таких как ограничение скорости, отслеживание использования и контроль с предохранителями.

См. раздел "Настройка шлюза ИИ" в конечных точках обслуживания моделей.

Запрос конечной точки внешней модели

После создания внешней конечной точки модели он готов получать трафик от пользователей.

Запросы оценки можно отправлять в конечную точку с помощью клиента OpenAI, REST API или пакета SDK для развертываний MLflow.

• См. стандартные параметры запроса оценки в POST /service-endpoints/{name}/invocations.
• Использование базовых моделей

В следующем примере выполняется запрос к модели завершения claude-2, размещенной Anthropic, с использованием клиента OpenAI. Чтобы использовать клиент OpenAI, заполните model поле именем конечной точки обслуживания модели, в которой размещена модель, которую требуется запросить.

В этом примере используется ранее созданная точка доступа, anthropic-completions-endpoint, настроенная для доступа к внешним моделям от поставщика моделей Anthropic. Узнайте, как создавать внешние конечные точки модели.

См. поддерживаемые модели для получения дополнительных моделей, которыми можно воспользоваться, и их поставщиков.

import os
import openai
from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

completion = client.completions.create(
  model="anthropic-completions-endpoint",
  prompt="what is databricks",
  temperature=1.0
)
print(completion)

Ожидаемый формат выходных ответов:

{
"id": "123", # Not Required
"model": "anthropic-completions-endpoint",
"choices": [
  {
    "text": "Hello World!",
    "index": 0,
    "logprobs": null, # Not Required
    "finish_reason": "length" # Not Required
  }
],
"usage": {
  "prompt_tokens": 8,
  "total_tokens": 8
  }
}

Дополнительные параметры запроса

Вы можете передать любые дополнительные параметры, поддерживаемые поставщиком конечной точки в рамках запроса.

Например:

• logit_bias (поддерживается OpenAI, Cohere).
• top_k (поддерживается Anthropic, Cohere).
• frequency_penalty (поддерживается OpenAI, Cohere).
• presence_penalty (поддерживается OpenAI, Cohere).
• stream (поддерживается OpenAI, Anthropic, Cohere, Amazon Bedrock for Anthropic). Это доступно только для запросов чата и запросов на завершение.

• tools (поддерживается OpenAI, Anthropic, Amazon Bedrock for Anthropic). Это доступно только для запросов чата и запросов на завершение. Этот параметр позволяет интегрировать внешние функциональные возможности, включая Использование компьютера (бета-версия) для Anthropic и Amazon Bedrock для Anthropic. См. вызов функции в Azure Databricks.

Поддержка конфигураций подключения к сети для внешних моделей

Поддержка конфигураций подключения к сети (NCCs) для внешних моделей, включая приватный канал Azure, доступна в общедоступной предварительной версии. Чтобы принять участие в предварительном ознакомлении, обратитесь к вашей команде по работе с клиентами Databricks.

Ограничения

В зависимости от выбранной внешней модели конфигурация может привести к обработке данных за пределами региона, в котором были получены данные. Смотрите ограничения и регионы моделей обслуживания.

Дополнительные ресурсы

• Учебное пособие: Создание внешних конечных точек для запроса моделей OpenAI.
• Используйте базовые модели.