Тонкая настройка моделей в Microsoft Foundry (классический)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Предварительная настройка настраивает предварительно обученную модель ИИ с дополнительным обучением по определенной задаче или набору данных для повышения производительности, добавления новых навыков или повышения точности. Результатом является новая оптимизированная модель GenAI на основе приведенных примеров. В этой статье рассматриваются ключевые понятия и решения, которые необходимо принять перед тем, как приступить к тонкой настройке. Это включает в себя выбор типа тонкой настройки, подходящего для вашего варианта использования, критерии выбора модели на основе методов обучения для тонкой настройки, а также как это помогает вам на вашем пути в мире GenAI.

Если вы только начинаете работу с тонкой настройкой, рекомендуем GPT-4.1 для сложных навыков, таких как перевод языка, адаптация домена или расширенное создание кода. Для более специализированных задач (таких как классификация, анализ тональности или модерация контента) или при извлечении знаний из более сложной модели начните с GPT-4.1-mini для более быстрой итерации и уменьшения затрат.

Основные варианты использования для точной настройки

Тонкой настройке excel при настройке языковых моделей для конкретных приложений и доменов. Ниже приведены некоторые ключевые варианты использования:

• Специализация домена: Адаптация языковой модели для специализированной области, такой как медицина, финансы или закон, где важны конкретные знания и терминология предметной области. Научите модель понимать технический жаргон и предоставлять более точные ответы.
• Производительность задачи: Оптимизируйте модель для конкретной задачи, например анализа тональности, создания кода, перевода или суммирования. Вы можете значительно повысить производительность меньшей модели в определенном приложении по сравнению с моделью общего назначения.
• Стиль и тон: Научите модель соответствовать предпочитаемой манере общения, например адаптировать модель для формального делового письма, фирменного голоса или технической записи.
• Следование Инструкциям: Улучшайте способность модели соблюдать определенные требования к форматированию, многошаговые инструкции или структурированные выходные данные. В системах с несколькими агентами научите модель вызывать правильного агента для правильной задачи.
• Соответствие требованиям и безопасность: Обучайте тонко настроенную модель, чтобы соответствовать политикам организации, нормативным требованиям или другим рекомендациям, уникальным для вашего приложения.
• Язык или культурная адаптация: Настройка языковой модели для определенного языка, диалекта или культурного контекста, который может быть не хорошо представлен в обучающих данных. Тонкая настройка особенно важна, когда модель общего назначения не соответствует вашим конкретным требованиям, но вы хотите избежать затрат и сложности обучения модели с нуля.

Бессерверные или управляемые вычислительные ресурсы?

Перед выбором модели важно выбрать продукт тонкой настройки, соответствующий вашим потребностям. Microsoft Foundry предлагает два основных способа настройки: бессерверные и управляемые вычислительные ресурсы.

• Serverless-технологии позволяют вам настраивать модели, используя нашу мощность с учетом потребления, начиная с $1,70 за миллион входных токенов. Мы оптимизируем обучение по скорости и масштабируемости при обработке всего управления инфраструктурой. Этот подход не требует квот GPU и предоставляет монопольный доступ к моделям OpenAI, хотя и с меньшим количеством вариантов гиперпараметров, чем управляемые вычисления.
• Управляемые вычислительные ресурсы предоставляют более широкий спектр моделей и расширенную настройку с помощью AzureML, но требуют предоставления собственных виртуальных машин для обучения и размещения. Хотя это обеспечивает полный контроль над ресурсами, он требует высоких квот, которые многие клиенты не имеют, не включают модели OpenAI и не могут использовать наши многотенантные оптимизации.

Для большинства клиентов бессерверные обеспечивают лучший баланс простоты использования, экономичности и доступа к моделям класса Premium. В этом документе основное внимание уделяется бессерверным параметрам.

Чтобы найти шаги по тонкой настройке модели в Foundry, ознакомьтесь с инструкциями по точной настройке моделей в Foundry или тонкой настройке моделей с помощью управляемых вычислений. Подробные инструкции по настройке OpenAI см. в разделе Fine-tune Azure OpenAI Models.

Методы обучения

После определения варианта использования необходимо выбрать соответствующий метод обучения, который управляет моделью, выбранной для обучения. Мы предлагаем три способа обучения для оптимизации моделей:

• Контролируемая настройка (SFT): Базовая методика, которая обучает вашу модель на парах входных и выходных данных, помогая ей генерировать нужные ответы для конкретных входных данных.

  • Лучше всего: Основные случаи использования, включая специализацию в домене, выполнение задач, стиль и тон, соблюдение инструкций и адаптация языка.
  • Когда следует использовать: Начните здесь для большинства проектов. SFT охватывает наибольшее количество сценариев тонкой настройки и обеспечивает надежные результаты с четкими данными для обучения на основе входных и выходных данных.
  • Поддерживаемые модели: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 и Llama 3.1; Phi 4, Phi-4-mini-instruct; Мистраль Немо, Мистраль-3B, Мистраль Большой (2411); NTT Tsuzumi-7b

• Оптимизация прямых предпочтений (DPO): Обучает модели, чтобы предпочитать определенные типы ответов по сравнению с другими, обучаясь от сравнительной обратной связи, не требуя отдельной модели вознаграждения.

  • Лучше всего: Улучшение качества реагирования, безопасности и выравнивания с человеческими предпочтениями.
  • Когда следует использовать: Если у вас есть примеры предпочтительных и не предпочитаемых выходных данных, или когда необходимо оптимизировать для субъективных качеств, таких как полезность, безвредность или стиль. Варианты использования включают адаптацию моделей к определенному стилю и тону или адаптацию модели к культурным предпочтениям.
  • Поддерживаемые модели: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Файн-тюнинг с подкреплением (RFT): использует обучение с подкреплением для оптимизации моделей на основе сигналов вознаграждения, что позволяет добиваться более сложных целей оптимизации.

  • Лучше всего: Сложные сценарии оптимизации, в которых не хватает простых пар ввода-вывода.
  • Когда следует использовать: RFT идеально подходит для целевых областей, таких как математика, химия и физика, где есть четкие и неправильные ответы, и модель уже показывает некоторую компетенцию. Он работает лучше всего, когда сложно угадать, и эксперты-оценщики последовательно приходят к однозначному, правильному ответу. Требует больше опыта машинного обучения для эффективной реализации.
  • Поддерживаемые модели: o4-mini

Большинство клиентов должны начать с SFT, так как он охватывает самое большое количество вариантов использования тонкой настройкой.

Перейдите по этой ссылке, чтобы просмотреть и скачать example datasets для тестирования точной настройки.

Модальности обучения

• Текст в текст (все модели): Все наши модели поддерживают стандартную настройку текста в текст для задач на основе языка.
• Vision + Text (GPT 4o, 4.1): Некоторые модели поддерживают точную настройку зрения, принимая как изображения, так и текстовые входные данные при создании текстовых выходных данных. Варианты использования для точной настройки визуального зрения включают интерпретацию диаграмм, графов и визуальных данных; модерация содержимого; оценка качества визуальных элементов; обработка документов с смешанным текстом и изображением; и каталогизация продуктов с фотографий.

Таблица сравнения моделей

В этой таблице представлен обзор доступных моделей

Начало работы с тонкой настройкой

1. Определите вариант использования: Определите, нужна ли высокопроизводительная модель общего назначения (например, GPT 4.1), меньшая экономически эффективная модель для конкретной задачи (GPT 4.1-mini или nano) или сложная модель причин (o4-mini).
2. Подготовка данных: Начните с 50-100 высококачественных примеров для первоначального тестирования, масштабирования до 500+ примеров для рабочих моделей.
3. Выберите способ: Начните с контролируемого Fine-Tuning (SFT), если у вас нет конкретных требований для моделей рассуждений / RFT.
4. Итерация и оценка: Тонкая настройка — это итеративный процесс, который начинается с основной точки, измеряется производительность, и подход уточняется на основе результатов.

Инструкции по тонкой настройке модели в Foundry см. в статье Fine-tune Models in Foundry, Fine-tune Azure OpenAI Models или Отточить модели с помощью управляемых вычислений.

Тонкая настройка доступности

Теперь, когда вы знаете, когда следует использовать точную настройку для вашего варианта использования, вы можете перейти к Microsoft Foundry, чтобы найти модели, доступные для точной настройки.

Чтобы точно настроить модель Foundry с помощью бессерверных ресурсов, необходимо иметь концентратор или проект в регионе, где модель доступна для точной настройки. Подробную информацию о доступности моделей и регионов в бессерверном развертывании API см. в разделе Доступность регионов для моделей в бессерверном развертывании API и о том, как создать проект на базе Hub, смотрите в разделе "Создание проекта".

Для точной настройки модели OpenAI можно использовать ресурс Azure OpenAI, ресурс Foundry, проект по умолчанию или хаб/проект. GPT 4.1, 4.1-mini, 4.1-nano и GPT 4o, 4omini доступны во всех регионах с глобальным обучением. Сведения о региональной доступности см. в разделе Региональная доступность и ограничения Azure OpenAI для точной настройки. Инструкции по созданию проекта для Foundry см. в статье "Создание проекта".

Чтобы точно настроить модель с помощью управляемых вычислений , необходимо иметь концентратор или проект и доступную квоту виртуальной машины для обучения и вывода. Для получения более подробной информации о настройке вычислений с использованием управляемых ресурсов (предварительный показ), обратитесь к статье "Как настроить управляемые вычисления", и в разделе "Как создать проект на основе концентратора" представлена информация о создании вашего проекта.

Связанное содержимое

• Точная настройка моделей с помощью управляемых вычислительных ресурсов (предварительная версия)
• Точная настройка модели Azure OpenAI в портале Foundry
• Точная настройка моделей с помощью развертывания бессерверного API