Microsoft: Рекомендации по тонкой настройке Foundry

Тонкой настройкой является процесс принятия предварительно обученной языковой модели и адаптации его для выполнения конкретной задачи или повышения его производительности в определенном наборе данных. Это включает обучение модели на меньшем наборе данных для конкретной задачи при небольшом корректировке весов модели. Точная настройка задействует знания, которые модель получила во время первоначального обучения на большом и разнообразном наборе данных, что позволяет ей специализироваться, не начиная с нуля. Этот подход часто оказывается более эффективным, чем обучение новой модели с нуля; например, многие команды производят тонкую настройку с использованием от сотен до тысяч размеченных примеров вместо обучения заново на миллионах образцов.

Основные преимущества тонкой настройки

Улучшенная точность и релевантность

Тонкая настройка повышает производительность модели в конкретных задачах, обучая её с использованием данных, специфичных для задач. Это часто приводит к более точным и актуальным высококачественным выходным данным по сравнению с использованием общих запросов.

В отличие от нескольких снимков обучения, где в запрос можно включить только ограниченное количество примеров, то вы можете обучить модель на дополнительном наборе данных. Точная настройка помогает модели лучше распознавать нюансы закономерностей и улучшать эффективность выполнения задач.

Эффективность и потенциальная экономия затрат

Для точно настроенных моделей нужны более короткие запросы, так как они обучены на соответствующих примерах. Этот процесс уменьшает количество маркеров, необходимых для каждого запроса, что может привести к экономии затрат в зависимости от варианта использования.

Так как для точно настроенных моделей требуется меньше примеров в запросе, они обрабатывают запросы быстрее, что приводит к более быстрому времени отклика.

Масштабируемость и специализация

Тонкая настройка подразумевает обширную предварительную подготовку языковых моделей и улучшает их возможности для конкретных приложений, что делает их более продуктивными и действенными для целевых вариантов использования.

Более мелкие модели могут достичь уровней производительности, сопоставимых с более крупными, более дорогими моделями для конкретных задач. Этот подход снижает вычислительные затраты и повышает скорость, что делает его экономически эффективным масштабируемым решением для развертывания ИИ в средах с ограниченными ресурсами.

Когда нужно провести тонкую настройку

Тонкая настройка подходит для случаев, когда у вас есть небольшой высококачественный набор данных (например, от нескольких сотен до нескольких тысяч пар запрос–ответ) и если вы хотите повысить производительность вашей модели. Точная настройка применяется ко многим сценариям использования, которые часто попадают в следующие категории.

  • Сокращение затрат на проектирование запросов: многие пользователи начинают с метода обучения с ограниченным числом примеров, добавляя примеры нужных выходных данных в системное сообщение. С течением времени этот процесс может привести к все более длинным запросам, увеличению количества токенов и задержкам. Точная настройка позволяет вам внедрить эти примеры в модель посредством обучения на ожидаемых выходных данных, что является ценным в сценариях с многочисленными краевыми случаями.

  • Изменение стиля и тон. Настройка помогает выравнивать выходные данные модели с нужным стилем или тоном, обеспечивая согласованность в таких приложениях, как чат-боты службы клиентов и взаимодействие с фирменной символикой.

  • Создание выходных данных в определенных форматах или схемах: модели можно точно настроить для создания выходных данных в определенных форматах или схемах, что делает их идеальными для структурированного создания данных, отчетов или форматированных ответов.

  • Повышение использования инструментов. Хотя API завершения чата поддерживает вызовы инструментов, перечисление многих инструментов увеличивает использование маркеров и может привести к неправильной информации. Точная настройка на примерах инструментов улучшает точность и согласованность, даже без полного описания инструментов.

  • Повышение производительности на основе извлечения. Объединение тонкой настройки с методами извлечения повышает способность модели интегрировать внешние знания, выполнять сложные задачи и предоставлять более точные, контекстно-ориентированные ответы. Точное настройка обучает модель эффективно использовать извлеченные данные при фильтрации неуместных сведений.

  • Оптимизация эффективности: Точная настройка может быть использована для передачи знаний из более крупной модели в меньшую, что даёт возможность меньшей модели достигать аналогичного выполнения задач при более низкой стоимости и меньшей задержке. Например, рабочие данные из высокопроизводительной модели можно использовать для точной настройки меньшей, более эффективной модели. Этот подход помогает масштабировать решения искусственного интеллекта при сохранении качества и уменьшении вычислительных затрат.

  • Дистилляция: дистилляция модели использует выходные данные большой модели для точной настройки меньшей модели, что позволяет ему выполнять аналогичную задачу. Например, вы можете собирать производственный трафик из o1 развертывания и использовать эти данные для точной настройки GPT-4o-mini. Этот процесс может снизить затраты и задержки, так как более эффективны небольшие модели.

Типы тонкой настройки

Microsoft Foundry предлагает следующие методы тонкой настройки:

  • Контролируемая донастройка: Это позволяет предоставлять пользовательские данные (например, подсказки, завершения или диалоговые чаты в зависимости от задачи) для обучения базовую модель новым навыкам. Этот процесс включает в себя дальнейшее обучение модели в высококачественном наборе данных с меткой, где каждая точка данных связана с правильными выходными данными или ответами. Цель состоит в том, чтобы повысить производительность модели для конкретной задачи, изменив его параметры на основе помеченных данных. Этот метод лучше всего подходит, если существуют конечные способы решения проблемы, и вы хотите научить модель определенной задаче и повысить ее точность и краткость.

  • Уточнение с подкреплением (RFT) — метод настройки модели, полезный для оптимизации поведения модели в очень сложных или динамических средах, что позволяет модели учиться и адаптироваться с помощью итеративной обратной связи и принятия решений. Например, поставщики финансовых услуг могут оптимизировать модель для более быстрых, более точных оценок рисков, или медицинские организации могут адаптировать определенные модели для более эффективного анализа данных и формирования гипотез. RFT лучше всего работает, если существует множество возможных способов решения проблемы. Оценщик постепенно вознаграждает модель и улучшает качество логического мышления.

  • Прямая оптимизация предпочтений (DPO): метод выравнивания для больших языковых моделей, предназначенный для корректировки весов моделей на основе человеческих предпочтений. В отличие от обучения с подкреплением от человеческой обратной связи (RLHF), DPO не требует настройки модели вознаграждения и использует двоичные предпочтения для обучения. Этот метод вычисляется легче и быстрее, что делает его одинаково эффективным при выравнивании, а также более эффективным. Укажите предпочтительные и непредпочтительные ответы в обучающем наборе, чтобы использовать этот метод.

Кроме того, вы можете объединять методы: сначала используйте управляемую настройку (SFT) для создания настраиваемой модели, оптимизированной для вашего варианта использования, а затем примените DPO для выравнивания ответов в соответствии с вашими конкретными предпочтениями. На этапе SFT основное внимание уделяется качеству данных и репрезентативности задач, в то время как этап DPO корректирует ответы, используя определенные сравнения.

Проблемы и ограничения тонкой настройки

Точное настройка больших языковых моделей может быть мощным способом адаптации их к определенным доменам и задачам. Однако при тонкой настройке также возникают некоторые проблемы и ограничения, которые следует рассмотреть перед применением его к реальной проблеме. Ниже приведены некоторые из этих проблем.

  • Для точной настройки требуются высококачественные, достаточно крупные и репрезентативные обучающие данные, соответствующие целевому домену и задаче. Качественные данные являются релевантными, точными, согласованными и достаточно разнообразными, чтобы охватывать возможные сценарии и вариации модели, которые будут встречаться в реальном мире. Низкое качество или непредставительные данные приводят к переобучению, недообучению или смещению в точно настроенной модели, что вредит ее обобщению и устойчивости.
  • Настройка больших языковых моделей означает дополнительные затраты, связанные с обучением и размещением пользовательской модели.
  • Форматирование пар входных и выходных данных, используемых для точной настройки крупной языковой модели, может иметь решающее значение для его производительности и удобства использования.
  • При обновлении данных или при выпуске обновленной базовой модели может потребоваться повторная настройка. Это включает в себя мониторинг и регулярное обновление.
  • Точная настройка — это повторяющаяся задача (пробная версия и ошибка), поэтому гиперпараметры должны быть тщательно заданы. Для точной настройки требуется много экспериментов и тестирования, чтобы найти лучшее сочетание гиперпараметров и параметров для достижения требуемой производительности и качества.
  • Для импорта обучающих данных из Хранилище BLOB-объектов Azure требуется, чтобы учетная запись хранения включила доступ к общедоступной сети. Если корпоративная среда ограничивает общедоступный доступ к учетным записям хранения, используйте метод отправки локальных файлов или пакет SDK для отправки обучающих данных напрямую.

Дальнейшие действия

  • Last updated on