Поделиться через

ИИ и машинное обучение в Databricks

Создание, развертывание и управление приложениями искусственного интеллекта и машинного обучения с помощью Мозаичного ИИ, интегрированная платформа, которая объединяет весь жизненный цикл ИИ от подготовки данных к рабочему мониторингу.

Чтобы приступить к работе с набором руководств, ознакомьтесь с руководствами по искусственному интеллекту и машинному обучению.

Создание приложений на основе генеративного ИИ

Разработка и развертывание корпоративных приложений генеративного ИИ, таких как точно настроенные модели обработки естественного языка большого объема (LLM), агенты ИИ и создание, дополненное извлечением данных.

Функция Описание
Детская площадка для искусственного интеллекта Создавайте и тестируйте модели генеративного ИИ без необходимости писать код с помощью проектирования запросов и настройки параметров.
Агент Брюкс Простой, без кода подход к созданию и оптимизации доменных систем агентов ИИ высокого качества для распространенных вариантов использования ИИ.
Базовые модели Обслуживайте современные LLM, включая Meta Llama, Anthropic Claude и OpenAI GPT с помощью безопасных масштабируемых API.
Фреймворк агента ИИ Mosaic Создание и развертывание агентов с рабочим качеством, включая приложения RAG и многоагентные системы с помощью Python.
MLflow для GenAI Измеряйте, улучшайте и контролируйте качество в течение жизненного цикла приложений GenAI с использованием метрик, управляемых ИИ, и всеобъемлющего прослеживания.
Векторный поиск Хранение и внедрение векторов запросов с автоматической синхронизацией с базой знаний для приложений RAG.
Тонкая настройка базовой модели Настройте базовые модели с собственными данными для оптимизации производительности для конкретных приложений.

Обучайте классические модели машинного обучения

Создание моделей машинного обучения с помощью автоматизированных средств и сред совместной разработки.

Функция Описание
AutoML Автоматически создавайте высококачественные модели с минимальным кодом с помощью автоматизированной разработки функций и настройки гиперпараметра.
Среда выполнения Databricks для ML Предварительно настроенные кластеры с поддержкой TensorFlow, PyTorch, Keras и GPU для разработки глубокого обучения.
Отслеживание MLflow Отслеживайте эксперименты, сравнивайте производительность модели и управляйте полным жизненным циклом разработки моделей.
Проектирование компонентов Создание, управление и обслуживание функций с помощью автоматизированных конвейеров данных и обнаружения компонентов.
Записные книжки Databricks Среда совместной разработки с поддержкой рабочих процессов Python, R, Scala и SQL для машинного обучения.

Тренировка моделей глубокого обучения

Используйте встроенные платформы для разработки моделей глубокого обучения.

Функция Описание
Распределенное обучение Примеры распределенного глубокого обучения с помощью Ray, TorchDistributor и DeepSpeed.
Рекомендации по глубокому обучению в Databricks Рекомендации по глубокому обучению в Databricks.
PyTorch Одноузловая и распределенная подготовка с помощью PyTorch.
TensorFlow Одноузловая и распределенная подготовка с помощью TensorFlow и TensorBoard.
Справочные решения Справочные решения для глубокого обучения.

Развертывание и обслуживание моделей

Развертывание моделей в рабочей среде с масштабируемыми конечными точками, выводом в режиме реального времени и мониторингом корпоративного уровня.

Функция Описание
Обслуживание моделей Развертывание пользовательских моделей и LLM в качестве масштабируемых конечных точек REST с поддержкой автоматического масштабирования и GPU.
Шлюз искусственного интеллекта Управление и мониторинг доступа к созданным моделям ИИ с помощью отслеживания использования, ведения журнала полезных данных и элементов управления безопасностью.
Внешние модели Интеграция сторонних моделей, размещенных за пределами Databricks, с унифицированным управлением и мониторингом.
API-интерфейсы фундаментальной модели Получите доступ и выполняйте запросы к передовым открытым моделям, размещенным на платформе Databricks.

Мониторинг систем машинного обучения и управление ими

Обеспечение качества модели, целостности данных и соответствия комплексным средствам мониторинга и управления.

Функция Описание
Каталог Unity Управляйте данными, характеристиками, моделями и функциями с помощью единого контроля доступа, отслеживания происхождения и обнаружения.
Мониторинг озера Отслеживайте качество данных, производительность модели и прогнозирование с помощью автоматизированных оповещений и анализа первопричин.
MLflow для моделей Отслеживание, оценка и мониторинг создаваемых приложений ИИ на протяжении всего жизненного цикла разработки.

Внедрение рабочих процессов машинного обучения в производственную среду

Масштабируйте операции машинного обучения с помощью автоматизированных рабочих процессов, интеграции CI/CD и готовых к производству конвейеров.

Задача Описание
Реестр моделей Управление версиями моделей, утверждениями и развертываниями с помощью централизованного управления жизненным циклом модели.
Задания Lakeflow Создание автоматизированных рабочих процессов и готовых к работе конвейеров ETL для обработки данных машинного обучения.
Рэй на Databricks Масштабируйте рабочие нагрузки машинного обучения с использованием распределенных вычислений для обучения и инференции крупномасштабных моделей.
Рабочие процессы MLOps Реализуйте комплексные платформы MLOps с автоматизированным обучением, тестированием и конвейерами развертывания.
Интеграция Git Управление версиями кода машинного обучения и записных книжек с бесшовной интеграцией Git и совместной разработкой.