Точно настроенные модели в Azure AI Studio

Переобучение существующей крупной языковой модели (LLM) с помощью примеров данных. Результатом является новый настраиваемый LLM, оптимизированный для предоставленных примеров.

В этой статье вы можете решить, является ли настройка правильным решением для вашего варианта использования. В этой статье также описывается, как Azure AI Studio может поддерживать ваши потребности в точной настройке.

В этой статье тонкой настройке относится к защищенной тонкой настройке, а не к непрерывной предварительной подготовке или обучению с подкреплением с помощью человеческой обратной связи (RLHF). Контролируемый тонкой настройкой — это процесс переобучения предварительно обученных моделей для определенных наборов данных. Цель обычно заключается в повышении производительности модели для конкретных задач или вводе сведений, которые не были хорошо представлены при первоначальной подготовке базовой модели.

Начало работы с тонкой настройкой

При принятии решения о том, является ли настройка правильным решением для вашего варианта использования, полезно ознакомиться с этими ключевыми терминами:

• Проектирование запросов — это метод, который включает проектирование запросов для моделей обработки естественного языка. Этот процесс повышает точность и релевантность в ответах, чтобы оптимизировать производительность модели.
• Получение дополненного поколения (RAG) повышает производительность LLM, извлекая данные из внешних источников и включив их в запрос. RAG может помочь предприятиям достичь настраиваемых решений при сохранении релевантности данных и оптимизации затрат.

Точное настройка — отличный способ получить более качественные результаты, уменьшая задержку. Следующие вопросы помогут вам лучше понять, почему вы можете точно настроить и оценить, готовы ли вы к настройке с помощью процесса. Эти вопросы можно использовать для выполнения следующих действий.

Почему вы хотите точно настроить модель?

Прежде чем приступить к тонкой настройке модели, рассмотрите ли вы выявленные недостатки при использовании базовой модели. Эти недостатки могут включать: несогласованную производительность в пограничных случаях, неспособность соответствовать достаточному числу запросов в окне контекста, чтобы управлять моделью или высокой задержкой.

Базовые модели уже предварительно обучены на огромных объемах данных, но в большинстве случаев вы добавите инструкции и примеры в запрос, чтобы получить нужные ответы качества. Этот процесс "небольшого обучения" можно улучшить с помощью точной настройки.

Точную настройку позволяет обучить модель с большим количеством примеров. Вы можете настроить примеры в соответствии с конкретным вариантом использования. Это поможет сократить количество маркеров в запросе, что приведет к потенциальной экономии затрат и запросов с более низкой задержкой.

Варианты использования для точной настройки модели могут быть:

• Управление моделью для вывода содержимого в определенном и настраиваемом стиле, тоне или формате.

Если вы определяете стоимость как основной мотиватор, будьте осторожны. Точное настройка может снизить затраты для определенных вариантов использования, сокращая запросы или позволяя использовать меньшую модель. Но, как правило, есть более высокие предварительные затраты на обучение, и вы должны платить за размещение собственной пользовательской модели.

Что не работает с альтернативными подходами?

Понимание того, где инженерные запросы не хватает, должны предоставить рекомендации по приближению к вашей тонкой настройке. Происходит ли сбой базовой модели в пограничных случаях или исключениях? Не является ли базовая модель согласованной предоставлением выходных данных в правильном формате, и вы не можете ввести достаточно примеров в окне контекста, чтобы исправить его?

Примеры сбоев с базовой моделью и инженерией запросов помогут определить данные, необходимые для точной настройки, и как следует оценивать настроенную модель.

Ниже приведен пример: клиент хочет использовать GPT-3.5 Turbo для перевода вопросов естественного языка в запросы в определенном, нестандартном языке запросов. Клиент предоставляет рекомендации в запросе (Always return GQL) и использует RAG для получения схемы базы данных. Однако синтаксис не всегда правильный и часто завершается ошибкой для пограничных вариантов. Клиент собирает тысячи примеров вопросов естественного языка и эквивалентных запросов к базе данных, включая случаи сбоя модели. Затем клиент использует эти данные для точной настройки модели. Объединение новой точно настроенной модели с инженерным запросом и получением обеспечивает точность выходных данных модели до допустимых стандартов для использования.

Что ты пытался до сих пор?

Улучшенная настройка — это расширенная возможность, а не отправная точка для процесса создания искусственного интеллекта. Вы уже должны быть знакомы с основами использования LLM. Сначала следует оценить производительность базовой модели с помощью командной инженерии и (или) RAG, чтобы получить базовые показатели производительности.

Наличие базовых показателей производительности без точной настройки важно знать, повышает ли производительность модели. Точное настройка с плохими данными делает базовую модель хуже, но без базовых показателей трудно обнаружить регрессии.

Прежде чем приступить к тонкой настройке модели, необходимо убедиться в том, что:

• Вы можете продемонстрировать доказательства и знания об использовании подходов к проектированию запросов и RAG на основе llM.
• Вы можете совместно использовать определенные возможности и проблемы с методами, отличными от тонкой настройки, которые вы попробовали для вашего варианта использования.
• Если это возможно, у вас есть количественные оценки базовой производительности.
• У вас есть помеченный набор данных, соответствующий конкретному регистру использования, который вы хотите обучить LLM.

Какие данные вы собираетесь использовать для точной настройки?

Даже с большим вариантом использования тонкой настройкой является только хорошо, как качество данных, которые можно предоставить. Вы должны быть готовы инвестировать время и усилия, чтобы сделать тонкой настройки работы. Для разных моделей требуются разные объемы данных, но часто требуется обеспечить достаточно большое количество высококачественных курируемых данных. При защищенной тонкой настройке универсальный моддель обучен в конкретном наборе данных с меткой темы. Модель с настройкой параметров в новые данные и применение предварительно существующих знаний при выводе нового содержимого.

Еще одним важным моментом является то, что даже с высококачественными данными, если данные не являются необходимым форматом для точной настройки, необходимо зафиксировать инженерные ресурсы для форматирования.

Вы можете быть готовы к тонкой настройке, если:

• Вы определили набор данных для точной настройки.
• Набор данных находится в соответствующем формате для обучения существующей модели.
• Вы использовали некоторый уровень курирования, чтобы обеспечить качество набора данных.

Как вы будете измерять качество вашей точно настроенной модели?

Существует не один правильный ответ на этот вопрос, но у вас должны быть четко определенные цели для того, что успех с тонкой настройкой выглядит как. В идеале, эти усилия не должны быть просто качественными. Он должен включать количественные меры успеха, например использование набора данных удержания для проверки, в дополнение к тестированию принятия пользователем или A/B тестированию точно настроенной модели на основе базовой модели.

Поддерживаемые модели для точной настройки в Azure AI Studio

Теперь, когда вы знаете, когда следует использовать детальную настройку для вашего варианта использования, вы можете перейти в Azure AI Studio, чтобы найти модели, доступные для точной настройки. В следующей таблице описаны модели, которые можно точно настроить в Azure AI Studio, а также регионы, в которых их можно точно настроить.

В этой таблице приведены дополнительные сведения о моделях службы Azure OpenAI, которые поддерживают настройку тонкой настройки и регионы, в которых доступна точная настройка.

Настройка моделей Azure OpenAI

¹ GPT-4 в настоящее время находится в общедоступной предварительной версии.

Связанный контент

• Настройка модели Azure OpenAI в Azure AI Studio
• Настройка модели Llama 2 в Azure AI Studio
• Настройка модели Phi-3 в Azure AI Studio
• Развертывание семейства небольших языковых моделей Phi-3 с помощью Azure AI Studio