Настройка режима обучения персонализации

Внимание

Начиная с 20 сентября 2023 г. нельзя создавать новые ресурсы Персонализатора. Служба Personalizer будет выведена из эксплуатации 25 августа 2026 года. Рекомендуем перейти на open-source microsoft/learning-loop с открытым исходным кодом.

Режим ученика формирует доверие к службе Персонализатора и ее способностям машинного обучения, а также гарантирует, что служба отправляет учебную информацию без риска для сетевого трафика.

Настройка режима ученика

  1. Войдите на портал Azure для ресурса Персонализатора.

  2. На странице "Настройка" на вкладке "Параметры модели" выберите режим ученика и нажмите кнопку "Сохранить".

Снимок экрана настройки учебного поведения в режиме ученика на портале Azure

Изменения в существующем приложении

В существующем приложении не должно быть изменений, как оно выбирает действия для отображения или как приложение определяет значение, а также его вознаграждение. Единственным изменением в приложении может быть порядок действий, отправленных в API ранжирования Персонализатора. Действие, отображаемое в настоящее время приложением, отправляется как первое действие в списке действий. API ранжирования использует это первое действие для обучения модели персонализации.

Настройка приложения для вызова API ранжирования

Чтобы добавить в приложение персонализацию, необходимо вызвать API ранжирования и наград.

  1. Добавьте вызов Rank API после точки в существующей логике приложения, где определяется список действий и их характеристик. Первым действием в списке действий должно быть действие, выбранное существующей логикой.

  2. Настройте код для отображения действия, связанного с идентификатором действия награды в ответе Rank API.

Настройте приложение для вызова API вознаграждений

Примечание.

Вызовы API системы вознаграждений не влияют на обучение в режиме ученичества. Служба учится, сопоставляя текущую логику приложения или действия по умолчанию. Однако выполнение вызовов функции Reward на этом этапе помогает обеспечить плавный переход в онлайн-режим позже посредством простого изменения параметров на портале Azure. Кроме того, награды будут записаны в журнал, что позволяет проанализировать, насколько хорошо выполняется текущая логика и сколько вознаграждений получено.

  1. Используйте существующую бизнес-логику, чтобы вычислить вознаграждение отображаемого действия. Значение должно находиться в диапазоне от 0 до 1. Отправьте эту награду в Personalizer через API вознаграждений. Значение награды не ожидается сразу и может быть отложено на период, в зависимости от логики бизнеса.

  2. Если вы не вернете вознаграждение в течение настроенного времени ожидания, вместо него будет зарегистрировано вознаграждение по умолчанию.

Оцените режим подмастерья

На портале Azure на странице Monitor для ресурса Персонализатора проверьте производительность Matching.

Скриншот проверки поведения обучения в режиме подмастерья на портале Azure

Режим ученика предоставляет следующие метрики оценки:

  • Базовый уровень — среднее вознаграждение: средние вознаграждения по умолчанию для приложения (базовый уровень).
  • Персонализатор — среднее вознаграждение: среднее из общего числа вознаграждений, которые потенциально мог бы получить Персонализатор.
  • Отношение вознаграждений за последние 1000 событий: соотношение вознаграждений базовой и персонализированной модели, нормализованное по последним 1000 событиям.

Переключение режима работы в режим "в сети"

Когда вы определяете, что модель Personalizer обучена со скользящим средним значением эффективности 75-85%, она готова к переключению в режим онлайн.

На портале Azure для ресурса Персонализатора на странице Настройка на вкладке Настройки модели выберите Онлайн режим, затем выберите Сохранить.

Нет необходимости вносить изменения в ранговые и вознаградительные вызовы API.

Следующие шаги

  • Last updated on