MLflow 3 для GenAI

MLflow 3 для GenAI — это открытая платформа, которая объединяет отслеживание, оценку и наблюдаемость для приложений и агентов GenAI на протяжении всего жизненного цикла разработки и рабочей среды. Он включает ведение журнала трассировки в реальном времени, встроенные и пользовательские оценки, включение отзывов человека и отслеживание версий, чтобы помочь вам эффективно оценить и улучшить качество приложений во время разработки и продолжить отслеживание и улучшение качества в рабочей среде.

Управляемый MLflow в Databricks расширяет MLflow с открытым исходным кодом с возможностями, предназначенными для производственных приложений GenAI, включая готовность к корпоративному управлению, полностью управляемое размещение, масштабирование на уровне рабочей среды и интеграцию с данными в Databricks lakehouse и каталоге Unity.

Сведения об оценке агента в MLflow 2 см. в разделе "Оценка агента" (MLflow 2) и руководство по миграции. Для MLflow 3 методы пакета SDK для оценки агента были интегрированы с управляемым Databricks MLflow.

Чтобы приступить к работе, ознакомьтесь с набором руководств.

Как MLflow 3 помогает оптимизировать качество приложения GenAI

Оценка приложений и агентов GenAI сложнее, чем оценка традиционного программного обеспечения. Входные и выходные данные часто являются текстом свободной формы, и многие различные выходные данные можно считать правильными. Качество зависит не только от правильности, но и от факторов, таких как точность, длина, полнота, соответствие и другие критерии, относящиеся к варианту использования. Поскольку LLM по своей природе являются недетерминированными, а агенты GenAI включают дополнительные компоненты, такие как ретриверы и инструменты, их ответы могут отличаться от одного выполнения к другому.

Разработчикам требуется конкретные метрики качества, автоматическая оценка и непрерывный мониторинг для создания и развертывания надежных приложений искусственного интеллекта. MLflow 3 для GenAI предоставляет эти ключевые компоненты для эффективного разработки, развертывания и непрерывного улучшения:

• Трассировка автоматически регистрирует входные данные, промежуточные шаги и выходные данные и предоставляет основу данных для оценки и мониторинга.
• Встроенные и пользовательские оценщики и эксперты LLM позволяют определять различные аспекты качества и настраивать метрики в соответствии с вашим вариантом использования.
• Приложения для проверки экспертной обратной связи позволяют собирать и маркировать наборы данных для оценки и согласовывать автоматизированные судьи и оценки с экспертной оценкой.
• Автоматическая оценка и мониторинг привлекают одних и тех же судей и оценщиков во время разработки и производства.
• Управление версиями приложений и запросов позволяет сравнивать версии и отслеживать улучшения по сравнению с итерациями.

С помощью MLflow 3 в Databricks вы можете перенести ИИ в данные, чтобы помочь вам глубоко понять и улучшить качество. Каталог Unity обеспечивает согласованное управление запросами, приложениями и трассировками. Поддерживая любую модель или фреймворк, MLflow сопровождает вас на протяжении всего цикла разработки до самого этапа производства и в нем.

Начало работы

Начните создавать лучшие приложения GenAI с помощью комплексных средств наблюдения и оценки.

Трассировка

Средства трассировки в MLflow обеспечивают наблюдаемость и ведение журнала данных трассировки, необходимых для оценки и мониторинга.

Оценка и мониторинг

Замените ручное тестирование автоматизированной оценкой с помощью встроенных и пользовательских судей LLM и показателей, которые соответствуют опыту человека и могут применяться как в разработке, так и в рабочей среде. Каждое рабочее взаимодействие становится возможностью улучшить с помощью интегрированных рабочих процессов обратной связи и оценки.

Управление жизненным циклом приложений GenAI

Для версии, отслеживания и управления всем приложением GenAI используйте инструменты корпоративного уровня для управления жизненным циклом и соблюдения регламентов.