Поделиться через

Рекомендации по настройке Azure OpenAI в моделях Azure AI Foundry

Тонкой настройкой является процесс принятия предварительно обученной языковой модели и адаптации его для выполнения конкретной задачи или повышения его производительности в определенном наборе данных. Это включает в себя обучение модели на меньшем наборе данных для конкретной задачи с небольшим изменением весов модели. Точная настройка использует знания, полученные моделью во время её первоначального обучения на большом, разнообразном наборе данных, благодаря чему она может специализироваться без необходимости начинать с нуля. Этот подход часто более эффективный и эффективный, чем обучение новой модели с нуля, особенно для специализированных задач.

Основные преимущества тонкой настройки

Улучшенная точность и релевантность

Точная настройка улучшает производительность модели в конкретных задачах, обучая её с помощью данных для этих задач. Это часто приводит к более точным и актуальным высококачественным выходным данным по сравнению с использованием общих запросов.

В отличие от обучения с несколькими примерами, где в подсказку можно включить только ограниченное количество примеров, при дообучении вы можете обучить модель на дополнительном наборе данных. Точная настройка помогает модели улучшить понимание нюансов и выполнение задач.

Эффективность и потенциальная экономия затрат

Для точно настроенных моделей требуются более короткие запросы, поскольку их обучение происходит на соответствующих примерах. Этот процесс уменьшает количество маркеров, необходимых для каждого запроса, что может привести к экономии затрат в зависимости от варианта использования.

Так как для точно настроенных моделей требуется меньше примеров в запросе, они обрабатывают запросы быстрее, что приводит к более быстрому времени отклика.

Масштабируемость и специализация

Тонкая настройка использует обширную предварительную подготовку языковых моделей и их возможности для конкретных приложений, что делает их более эффективными и результативными для целевых вариантов использования.

Настройка более мелких моделей можно добиться уровней производительности, сопоставимых с более крупными, более дорогими моделями для конкретных задач. Этот подход снижает вычислительные затраты и повышает скорость, что делает его экономически эффективным масштабируемым решением для развертывания ИИ в средах с ограниченными ресурсами.

Когда требуется тонкая настройка

Точная настройка подходит для случаев, когда у вас есть небольшой объем данных, и вам требуется повысить производительность вашей модели. Тонкая настройка может применяться для различных случаев использования, но часто они подпадают под более широкие категории.

  • Сокращение затрат на проектирование запросов: многие пользователи начинают с обучения с использованием нескольких примеров, добавляя примеры нужных выходных данных в системное сообщение. С течением времени этот процесс может привести к все более длинным подсказкам, увеличивая число токенов и задержку. Тонкая настройка позволяет внедрить эти примеры в модель путем обучения модели на ожидаемых выходах, что является ценным в сценариях с многочисленными краевыми случаями.

  • Изменение стиля и тон. Настройка помогает выравнивать выходные данные модели с нужным стилем или тоном, обеспечивая согласованность в таких приложениях, как чат-боты службы клиентов и взаимодействие с фирменной символикой.

  • Создание выходных данных в определенных форматах или схемах: модели можно точно настроить для создания выходных данных в определенных форматах или схемах, что делает их идеальными для структурированного создания данных, отчетов или форматированных ответов.

  • Повышение использования инструментов. Хотя API завершения чата поддерживает вызов инструментов, перечисление многих инструментов увеличивает использование маркеров и может привести к галлюцинации. Точная настройка с примерами использования инструментов повышает точность и согласованность, даже при отсутствии полного описания инструментов.

  • Повышение производительности на основе извлечения. Объединение тонкой настройки с методами извлечения повышает способность модели интегрировать внешние знания, выполнять сложные задачи и предоставлять более точные, контекстно-ориентированные ответы. Точное настройка обучает модель эффективно использовать извлеченные данные при фильтрации неуместных сведений.

  • Оптимизация для повышения эффективности: Тонкая настройка также может использоваться для передачи знаний из более крупной модели в меньшую, что позволяет меньшей модели достигать аналогичной производительности задач при более низкой стоимости и уменьшенной задержке. Например, рабочие данные из высокопроизводительной модели можно использовать для точной настройки меньшей, более эффективной модели. Этот подход помогает масштабировать решения искусственного интеллекта при сохранении качества и уменьшении вычислительных затрат.

  • Дистилляция: Модель дистилляции использует выходные данные большой модели для точной настройки меньшей модели, позволяя ей выполнять аналогичную задачу, например собирать рабочий трафик из развертывания o1 и использовать их в качестве обучающих данных для точной настройки 4o-mini. Этот процесс может сократить затраты и задержки, так как более мелкие модели могут быть более эффективными.

Типы тонкой настройки

Azure AI Foundry предлагает несколько типов прекрасных методов -tuning:

  • Защищенная настройка. Это позволяет предоставлять пользовательские данные (запрос или завершение или беседу в зависимости от модели) для обучения базовых навыков модели. Этот процесс включает в себя дальнейшее обучение модели в высококачественном наборе данных с меткой, где каждая точка данных связана с правильными выходными данными или ответами. Цель состоит в том, чтобы повысить производительность модели для конкретной задачи, изменив его параметры на основе помеченных данных. Этот метод лучше всего подходит, если существуют конечные способы решения проблемы, и вы хотите научить модель определенной задаче и повысить ее точность и краткость.

  • Уточнение с подкреплением: это метод настройки модели, полезный для оптимизации поведения модели в очень сложных или динамических средах, что позволяет модели учиться и адаптироваться с помощью итеративной обратной связи и принятия решений. Например, поставщики финансовых услуг могут оптимизировать модель для более быстрых, более точных оценок рисков или персонализированных инвестиционных консультаций. В области здравоохранения и фармацевтики o3-mini можно адаптировать для ускорения обнаружения лекарств, что обеспечивает более эффективный анализ данных, формирование гипотез и идентификацию перспективных соединений. RFT — отличный способ точной настройки, если существует бесконечное или большое количество способов решения проблемы. Постепенно улучшая модель, оценщик способствует лучшему умозаключению.

  • Прямая оптимизация предпочтений (DPO): это еще один новый метод выравнивания для больших языковых моделей, предназначенный для настройки весов моделей на основе человеческих предпочтений. В отличие от обучения с подкреплением от человеческой обратной связи (RLHF), DPO не требует настройки модели вознаграждения и использует двоичные предпочтения для обучения. Этот метод вычисляется легче и быстрее, что делает его одинаково эффективным при выравнивании, а также более эффективным. Вы передаёте непредпочтительный и предпочтительный ответ на набор обучения и используете метод DPO.

Кроме того, вы можете использовать методы стека: сначала с помощью SFT для создания настраиваемой модели , оптимизированной для вашего варианта использования, а затем с помощью тонкой настройки настроек для выравнивания ответов с конкретными предпочтениями. На этапе SFT основное внимание уделяется качеству данных и репрезентативности задач, в то время как этап DPO настраивает ответы с помощью конкретных сравнений.

Проблемы и ограничения тонкой настройки

Точное настройка больших языковых моделей — это мощный способ адаптации их к определенным доменам и задачам. Однако при тонкой настройке также возникают некоторые проблемы и недостатки, которые необходимо рассмотреть перед применением его к реальной проблеме. Ниже приведены некоторые из этих проблем и недостатков.

  • Для точной настройки требуются высококачественные, достаточно крупные и репрезентативные обучающие данные, соответствующие целевому домену и задаче. Качественные данные являются релевантными, точными, согласованными и достаточно разнообразными, чтобы охватывать возможные сценарии и вариации модели, которые будут встречаться в реальном мире. Низкое качество или непредставительные данные приводят к перенастройке, недонастройке или предвзятости в точно настроенной модели, что вредит ее обобщению и надежности.
  • Настройка больших языковых моделей означает дополнительные затраты, связанные с обучением и размещением пользовательской модели.
  • Форматирование пар входных и выходных данных, используемых для точной настройки крупной языковой модели, может иметь решающее значение для его производительности и удобства использования.
  • При обновлении данных или при выпуске обновленной базовой модели может потребоваться повторная настройка. Это включает в себя мониторинг и регулярное обновление.
  • Точная настройка — это повторяющаяся задача (пробная версия и ошибка), поэтому гиперпараметры должны быть тщательно заданы. Для точной настройки требуется много экспериментов и тестирования, чтобы найти лучшее сочетание гиперпараметров и параметров для достижения требуемой производительности и качества.

Дальнейшие шаги