Точное настройка моделей с помощью Microsoft Foundry

Предварительная настройка настраивает предварительно обученную модель ИИ с дополнительным обучением по определенной задаче или набору данных для повышения производительности, добавления новых навыков или повышения точности. Результатом является новая оптимизированная модель GenAI на основе приведенных примеров. В этой статье рассматриваются ключевые понятия и решения, которые необходимо принять перед тонкой настройкой, включая тип тонкой настройки, подходящий для вашего варианта использования, а также критерии выбора модели на основе использования методов обучения, вариантов использования тонкой настройки и того, как это помогает вам на пути с GenAI.

Если вы только начинаете работу с тонкой настройкой, рекомендуем GPT-4.1 для сложных навыков, таких как перевод языка, адаптация домена или расширенное создание кода. Для более специализированных задач (таких как классификация, анализ тональности или модерация содержимого) или при выделении знаний из более сложной модели начните с GPT-4.1-mini для быстрой итерации и снижения издержек.

Основные варианты использования для точной настройки

Точная настройка превосходно справляется с адаптацией языковых моделей для конкретных приложений и доменов. Ниже приведены некоторые ключевые варианты использования:

• Специализация домена: Адаптация языковой модели для специализированной области, такой как медицина, финансы или закон, где важны конкретные знания и терминология предметной области. Научите модель понимать технический жаргон и предоставлять более точные ответы.
• Оптимальная работа модели: Оптимизируйте модель для выполнения конкретной задачи, например анализа тональности, создания кода, перевода или суммирования. Вы можете значительно повысить производительность меньшей модели в определенном приложении по сравнению с моделью общего назначения.
• Стиль и тон: Научите модель соответствовать предпочитаемой манере общения, например адаптировать модель для формального делового письма, фирменного голоса или технической записи.
• Инструкции ниже. Улучшайте способность модели соблюдать определенные требования к форматированию, многофакторные инструкции или структурированные выходные данные. В многоагентных системах обучите модель вызывать нужного агента для выполнения нужной задачи.
• Соответствие требованиям и безопасность: Обучите настраиваемую модель, чтобы соответствовать политикам организации, нормативным требованиям или другим рекомендациям, уникальным для вашего приложения.
• Язык или культурная адаптация: Настройка языковой модели для определенного языка, диалекта или культурного контекста, который может быть не хорошо представлен в обучающих данных. Тонкой настройке особенно важно, если модель общего назначения не соответствует вашим конкретным требованиям, но вы хотите избежать затрат и сложности обучения модели с нуля.

Бессерверные или управляемые вычислительные ресурсы?

Перед выбором модели важно выбрать продукт тонкой настройки, соответствующий вашим потребностям. Microsoft Foundry предлагает два основных модальностей для точной настройки: бессерверные вычисления и управляемые вычислительные мощности.

• Бессерверный позволяет настраивать модели с использованием наших ресурсов по ценам, зависящим от объема потребления, начиная с $1,70 за миллион входных маркеров. Мы оптимизируем обучение по скорости и масштабируемости при обработке всего управления инфраструктурой. Этот подход не требует квот GPU и предоставляет монопольный доступ к моделям OpenAI, хотя и с меньшим количеством вариантов гиперпараметров, чем управляемые вычисления.
• Управляемые вычислительные ресурсы предоставляют более широкий спектр моделей и расширенную настройку с помощью AzureML, но требуют предоставления собственных виртуальных машин для обучения и размещения. Хотя это обеспечивает полный контроль над ресурсами, он требует высоких квот, которых многие клиенты не имеют, не включает модели OpenAI и не может использовать наши многотенантные оптимизации.

Для большинства клиентов бессерверные обеспечивают лучший баланс простоты использования, экономичности и доступа к моделям класса Premium. В этом документе основное внимание уделяется бессерверным параметрам.

Чтобы найти шаги по тонкой настройке модели в Foundry, ознакомьтесь с инструкциями по точной настройке моделей в Foundry или тонкой настройке моделей с помощью управляемых вычислений. Подробные инструкции по тонкой настройке OpenAI см. в статье " Точное настройка моделей Azure OpenAI".

Методы обучения

После определения варианта использования необходимо выбрать соответствующий метод обучения, который управляет моделью, выбранной для обучения. Мы предлагаем три способа обучения для оптимизации моделей:

• Контролируемые Fine-Tuning (SFT): Базовая методика, которая обучает модель на парах входных и выходных данных, помогая ей давать нужные ответы для конкретных входных данных.

  • Лучше всего: Большинство вариантов использования, включая специализацию в области, производительность задач, стиль и тон, следование инструкциям и адаптацию языка.
  • Когда следует использовать: Начните здесь для большинства проектов. SFT охватывает наибольшее количество сценариев тонкой настройки и обеспечивает надежные результаты с четкими входными и выходными данными тренировки.
  • Поддерживаемые модели: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 и Llama 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministral-3B, Mistral Large (2411); NTT Tsuzumi-7b

• Оптимизация прямых предпочтений (DPO): Обучает модели, чтобы предпочитать определенные типы ответов по сравнению с другими, обучаясь от сравнительной обратной связи, не требуя отдельной модели вознаграждения.

  • Лучше всего: Улучшение качества реагирования, безопасности и выравнивания с человеческими предпочтениями.
  • Когда следует использовать: Если у вас есть примеры предпочтительных и не предпочитаемых выходных данных, или когда необходимо оптимизировать для субъективных качеств, таких как полезность, безвредность или стиль. Варианты использования включают адаптацию моделей к определенному стилю и тону или адаптацию модели к культурным предпочтениям.
  • Поддерживаемые модели: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Подкрепление Fine-Tuning (RFT): Использует обучение с подкреплением для оптимизации моделей на основе сигналов вознаграждения, что позволяет выполнять более сложные задачи оптимизации.

  • Лучше всего: Сложные сценарии оптимизации, в которых не хватает простых пар ввода-вывода.
  • Когда следует использовать: RFT идеально подходит для целевых областей, таких как математика, химия и физика, где есть четкие и неправильные ответы, и модель уже показывает некоторую компетенцию. Он работает лучше всего, когда сложно угадать, и эксперты последовательно соглашаются с однозначным, правильным ответом. Требует больше опыта машинного обучения для эффективной реализации.
  • Поддерживаемые модели: o4-mini

Большинству клиентов следует начать с SFT, так как он охватывает наибольшее количество сценариев использования настройки.

Перейдите по этой ссылке, чтобы просмотреть и скачать примеры наборов данных , чтобы попробовать точной настройки.

Модальности обучения

• Текст в текст (все модели): Все наши модели поддерживают стандартную настройку текста в текст для задач на основе языка.
• Vision + Text (GPT 4o, 4.1): Некоторые модели поддерживают точную настройку зрения, принимая как изображения, так и текстовые входные данные при создании текстовых выходных данных. Варианты использования для точной настройки визуального зрения включают интерпретацию диаграмм, графов и визуальных данных; модерация содержимого; оценка качества визуальных элементов; обработка документов с смешанным текстом и изображением; и каталогизация продуктов с фотографий.

Таблица сравнения моделей

В этой таблице представлен обзор доступных моделей

Начало работы с тонкой настройкой

1. Определите вариант использования: Определите, нужна ли высокопроизводительная модель общего назначения (например, GPT 4.1), меньшая экономически эффективная модель для конкретной задачи (GPT 4.1-mini или nano) или сложная модель причин (o4-mini).
2. Подготовка данных: Начните с 50-100 высококачественных примеров для первоначального тестирования, масштабирования до 500+ примеров для рабочих моделей.
3. Выберите способ: Начните с защищенного Fine-Tuning (SFT), если у вас нет конкретных требований для моделей причин / RFT.
4. Итерация и оценка: Тонкая настройка — это итеративный процесс: начните с базового плана, измерьте производительность и уточняйте подход на основе полученных результатов.

Инструкции по точной настройке модели в Foundry см. в статьях "Точная настройка моделей в Foundry", "Точная настройка моделей Azure OpenAI" или "Точная настройка моделей с помощью управляемых вычислений".

Доступность Fine-Tuning

Теперь, когда вы знаете, когда следует использовать точную настройку для вашего варианта использования, вы можете перейти в Microsoft Foundry, чтобы найти модели, доступные для точной настройки.

Чтобы точно настроить модель Foundry с помощью бессерверных ресурсов, необходимо иметь концентратор или проект в регионе, где модель доступна для точной настройки. Сведения о доступности модели в бессерверном развертывании API см. в разделе "Доступность регионов" и "Создание проекта на основе концентратора " для создания проекта.

Для точной настройки модели OpenAI можно использовать ресурс Azure OpenAI, ресурс Foundry или проект по умолчанию или концентратор или проект. GPT 4.1, 4.1-mini, 4.1-nano и GPT 4o, 4omini доступны во всех регионах с глобальным обучением. Сведения о региональной доступности см. в разделе "Региональная доступность" и "Ограничения" для точной настройки Azure OpenAI. Инструкции по созданию проекта для Foundry см. в статье "Создание проекта".

Чтобы точно настроить модель с помощью управляемых вычислений , необходимо иметь концентратор или проект и доступную квоту виртуальной машины для обучения и вывода. Дополнительные сведения об использовании управляемой настройки вычислений (предварительная версия) см. в статьях "Точное настройка вычислений" и "Создание проекта на основе концентратора " для создания проекта.

Связанный контент

• Точная настройка моделей с помощью управляемых ресурсов (предварительная версия)
• Настройка модели Azure OpenAI на портале Foundry
• Тонкая настройка моделей через развертывание бессерверного API