Развертывание и тестирование моделей вывода с помощью оператора цепочки инструментов ИИ (KAITO) в Visual Studio Code

В этой статье вы узнаете, как использовать надстройку оператора инструментов ИИ (KAITO) в расширении Azure Kubernetes Service (AKS) в среде Visual Studio Code. KAITO автоматически подготавливает узлы GPU нужного размера и настраивает сервер интерференса в качестве конечного сервера для вашей модели ИИ, что позволяет легко тестировать и экспериментировать с ИИ в AKS.

Предпосылки

• Для использования интерфейса KAITO необходимо установить расширение Службы Azure Kubernetes (AKS) для Visual Studio Code. Дополнительные сведения см. в разделе "Установка расширения Служба Azure Kubernetes (AKS) для Visual Studio Code.
• Кластер, в который вы выполняете развертывание, — это стандартный кластер (Пока что Kaito не может быть установлен в автоматических кластерах).
• Убедитесь, что у вашей подписки Azure есть квота GPU для выбранной модели, проверив рабочие области модели KAITO.

Установка KAITO в кластере

1. На вкладке Kubernetes в разделе Clouds>Azure>ваша подписка>разверните LLM с помощью KAITO, щелкните правой кнопкой мыши на вашем кластере и выберите Установить KAITO.
2. На странице выберите "Установить KAITO ", чтобы запустить процесс установки KAITO.
3. После завершения установки появится кнопка "Создать рабочую область ", которая перенаправляет вас на страницу развертывания модели.

Создание рабочей области KAITO

При создании рабочей области KAITO, вы можете либо развернуть CRD рабочей области KAITO по умолчанию прямо в кластере AKS, либо сохранить CRD и адаптировать ее под ваши нужды.

1. На вкладке Kubernetes в разделе Облака>Azure> вашей подписки разверните LLM с помощью KAITO, щелкните правой кнопкой мыши на вашем кластере и выберите >Создать рабочую область KAITO.
2. Найдите и выберите модель, которую вы хотите развернуть.
3. Выберите Развернуть CRD рабочей области по умолчанию или Настроить CRD рабочей области.
4. Выберите "Развернуть рабочую область по умолчанию CRD" , чтобы развернуть модель. Он отслеживает ход выполнения модели и уведомляет вас после успешного развертывания модели. Он также уведомляет вас, если модель уже была неудачно развернута в вашем кластере.
5. По завершении развертывания появится кнопка "Просмотр развернутых моделей ", которая перенаправляет вас на страницу управления развертыванием.

Управление моделями KAITO

Страница "Управление моделями KAITO" позволяет просматривать все модели, развернутые в кластере AKS, а также их состояние (текущий, успешный или неудачный).

1. На вкладке Kubernetes в разделе Облака>Azure> ваша подписка> разверните LLM с помощью KAITO, щелкните правой кнопкой мыши на вашем кластере и выберите Управление моделями KAITO.

2. На этой странице можно выполнить одно из следующих действий:

   • Получение журналов: Выберите Получить журналы, чтобы получить доступ к самым последним журналам из pod-ов рабочей области KAITO для вашего развертывания. Это действие создает новый текстовый файл, содержащий последние 500 строк журналов.
   • Удаление модели: выберите "Удалить рабочую область " (или "Отмена " для текущих развертываний). Для неудачных развертываний выберите повторное развертывание CRD по умолчанию , чтобы удалить текущее развертывание и перезапустить процесс развертывания модели с нуля.
   • Тестирование модели: выбор теста. Это действие приводит вас к новой странице, в которой можно взаимодействовать с развернутой моделью через интерфейс чата.

Тестирование модели

1. На вкладке Kubernetes в разделе "Облака">Azure>ваша подписка>"Развернуть LLM с помощью KAITO" щелкните правой кнопкой мыши по вашему кластеру и выберите "Управление моделями KAITO".

2. Выберите Тест. Это действие приводит вас к новой странице, где вы можете взаимодействовать с развернутой моделью через чатовый интерфейс в окне запроса.

3. При необходимости можно настроить параметры:

   • Температура: управляет случайностью выходных данных модели. Низкая температура хороша для задач, требующих точности, таких как математические задачи, в то время как высокая температура лучше подходит для задач, таких как творческие письма.
   • Top P: ограничивает выбор следующего слова динамическим подмножеством словаря, определяемым совокупным пороговым значением вероятности.
   • Top K: ограничивает выделение следующего слова самыми K вероятными словами. Меньшие K значения приводят к более прогнозируемым выходным данным, в то время как большие значения увеличивают переменность.
   • Пенальти повторения: наказывает модель за повторение одних и тех же фраз, слов или последовательностей. Это полезно для предотвращения повторяющихся или зацикленных выходных данных, особенно в более длительных генерациях.
   • Максимальная длина: определяет максимальное количество маркеров (слов или подслов) в созданных выходных данных.

Дополнительные сведения см. в разделе Расширение AKS для Visual Studio Code: функции.

Удалите развертывание для вывода моделей

1. После завершения тестирования моделей, если вы хотите освободить выделенные ресурсы GPU в своем кластере, перейдите на вкладку Kubernetes, и в разделе Облака>Azure>Ваша подписка>Развертывание LLM с KAITO, щелкните правой кнопкой мыши на вашем кластере и выберите Управление моделями KAITO.
2. Для каждой развернутой модели выберите "Удалить рабочую область ", чтобы очистить все выделенные ресурсы, созданные развертыванием вывода.

Поддержка продуктов и отзывы

Если у вас есть вопрос или хотите предложить отзыв о продукте, откройте проблему в репозитории расширений AKS GitHub.

Дальнейшие шаги

Дополнительные сведения о других надстройках и расширениях AKS см. в статье о надстройках, расширениях и других интеграции для AKS.