Управление ИИ с помощью шлюза ИИ Unity

Шлюз искусственного интеллекта Unity — это решение для управления Azure Databricks для корпоративного ИИ. На основе каталога Unity она расширяет управление за пределами ваших данных и ресурсов ИИ к взаимодействию среды выполнения между моделями, агентами, серверами MCP и инструментами. Контролируйте, какие сервисы ИИ могут использовать команды, маршрутизируйте трафик ИИ и управляйте им, задавайте ограничения и отслеживайте использование из единой панели управления.

Azure Databricks обслуживает крупные языковые модели (LLM) нативно через API Foundation Model, так что вы получаете доступ к таким моделям, как GPT, Claude и Gemini с оплатой за токен без инфраструктуры для запуска. Вы также можете подключить внешних провайдеров моделей и маршрутизировать их API через тот же контроль доступа и управление трафиком.

Get started

Настройте и примените управление ИИ в ресурсах ИИ, трафике и поведении служб.

Тема Description
Руководство: Управляйте доступом к моделям агента кодирования с помощью Unity AI Gateway Маршрутизируйте внешний кодирующий агент через управляемые сервисы моделей, затем контролируйте, кто может получить доступ к моделям, и ограничивайте потребление и расходы агента.
Руководство: управление доступом агента для программирования к GitHub MCP Ограничьте доступ агента для программирования к инструментам GitHub MCP с помощью разрешений Unity Catalog и встроенной политики сервиса.
Учебник: Добавить ограничения по политике сервиса в модельный сервис Настройте защитные ограничения для сервиса моделей с помощью встроенных и пользовательских политик сервиса.
Руководство: отслеживание затрат на базовую модель по пользователю, команде или проекту Определите драйверы расходов на LLM, приписывая затраты пользователям, командам или проектам с сервисными тегами и запросами.

Контроль доступа к сервисам ИИ

Зарегистрируйте ресурсы ИИ в качестве защищаемых объектов каталога Unity, а затем предоставьте и отмените доступ с теми же привилегиями, которые используются для таблиц и томов. Агенты регулируются с помощью тех же защищаемых сущностей: агент регистрируется как модель в Unity Catalog, а инструменты, которые он вызывает, регулируются как службы MCP, функции и подключения.

Тема Description
Модельные API Выполняйте запросы к базовым моделям, доступным напрямую в system.ai, без какой-либо настройки и управляйте доступом с помощью привилегий Unity Catalog.
Внешние поставщики моделей Подключите таких провайдеров, как OpenAI и Anthropic, с помощью вашего собственного ключа (BYOK) и управляйте ими через одну контрольную точку.
Модели Управляйте зарегистрированными моделями, включая базовые модели, обслуживаемые в Azure Databricks, с помощью привилегий Unity Catalog.
Разрешения модели Foundation Ограничьте, к каким базовым моделям, предоставляемым через Azure Databricks, может получать доступ ваша организация — для всей учётной записи или отдельных групп.
Инструменты MCP Управление серверами MCP, зарегистрированными как защищаемые каталогом Unity, с помощью политик фильтрации инструментов и служб.
Пользовательские инструменты Управление функциями каталога Unity, которые агенты используют в качестве инструментов, с теми же привилегиями, которые используются для данных.
HTTP-подключения Управление подключениями каталога Unity, используемыми для доступа к внешним API-интерфейсам и серверам MCP.
Создание пользовательских API моделей Необязательно: добавьте свои собственные управляемые конечные точки, если вам нужны модели помимо готовых к использованию system.ai по умолчанию.

Маршрутизация трафика ИИ и управление ими

Unity AI Gateway направляет запросы к вашей модели и сервисам MCP через централизованную плоскость управления, что позволяет вам управлять мощностями, доступностью и расходами у разных поставщиков.

Тема Description
Применение ограничений скорости Установите ограничения на потребление для сервисов моделей и сервисов MCP, чтобы управлять ресурсами и затратами.
Настройка разделения трафика и резервных копий Распределяйте запросы между несколькими конечными точками модели и настраивайте автоматическое переключение при сбое, чтобы повысить доступность.
Задачи кодирования маршрутов с помощью Smart Routing Автоматически выбирайте лучшую модель и устройство для каждой задачи по программированию, чтобы контролировать расходы на ИИ, не жертвуя качеством.
Управление бюджетами Отслеживайте расходы и устанавливайте лимиты и жесткие лимиты для каждого пользователя.

Настройка политик защиты и доступа

Политики сервиса, также называемые ограничениями, определяют, как обрабатывается каждый запрос и ответ, на основе их содержимого и того, кто делает вызов.

Тема Description
Политики обслуживания для защищаемых объектов ИИ Как политики служб управляют содержимым запросов и ответов на службы ИИ, используя встроенные и настраиваемые политики.
Создайте и прикрепите политику службы Как написать функцию политики сервиса и прикрепить её к сервису MCP или модельному сервису.

Мониторинг использования, затрат и рисков

Отслеживайте действия, расходы и результаты во всех службах шлюза искусственного интеллекта Unity.

Тема Description
Обзор наблюдаемости Выберите правильный инструмент для мониторинга использования, стоимости, производительности и активности ИИ между сервисами.
Мониторинг использования Отслеживайте запросы, использование токенов и задержку по всему шлюзу Unity AI с помощью системных таблиц.
Анализ затрат Распределяйте затраты Azure Databricks по службам, целевым моделям, субъектам безопасности и тегам.
Аудит запросов и ответов Записывайте запросы и ответы в таблицы Delta в Unity Catalog для мониторинга и отладки.
  • Last updated on