Запуск вычислений на портале Microsoft Foundry

Протестируйте созданные модели ИИ и агенты, выполнив оценки, которые измеряют производительность, качество и безопасность. Используйте оценки перед развертыванием для проверки поведения или после развертывания для мониторинга качества рабочей среды. Оценивание запускает вашу модель или агент на тестовых данных и оценивает результаты с помощью встроенных или пользовательских оценщиков.

В этой статье показано, как создавать и запускать оценки на портале Foundry.

Необходимые условия

• Подписка Azure. Создайте аккаунт бесплатно.

• Проект Microsoft Foundry. Создайте проект , если у вас его нет.

• Одно из следующих вариантов в зависимости от целевого объекта оценки:

  • Оценка агента: Агент в вашем проекте.
  • Оценка модели: развернутая модель или доступ к мгновенным моделям.
  • Оценка набора данных: тестовый набор данных в формате CSV или JSONL, содержащий предварительно существующие модели или выходные данные агента.

• Подключение Azure OpenAI с развернутой моделью GPT (например, gpt-4.1-mini). Требуется для оценки качества с помощью ИИ.

• Роль пользователя Foundry в проекте Foundry . Дополнительные сведения см. в разделе Управление доступом на основе ролей для Microsoft Foundry.

  Важно

  Недавно были переименованы роли RBAC в Foundry. Foundry User, Foundry Owner, Foundry Account Owner и Foundry Project Manager ранее назывались пользователь Azure AI, владелец Azure AI, владелец учетной записи Azure AI и руководитель проекта Azure AI. Пока новое название внедряется, в некоторых местах вы всё ещё можете видеть прежние названия. Идентификаторы ролей и основные разрешения не меняются из-за переименования.

Выбор подхода оценки

Выберите подход оценки на основе того, что требуется протестировать:

Создание оценки

Вы можете запустить оценку из нескольких мест на портале Foundry:

• Страница оценки: в левой области выберите "Создать оценку>".
• Страница "Модели": перейдите к модели, перейдите на вкладку "Оценка ", а затем нажмите кнопку "Создать".
• Страница "Агенты": перейдите к агенту, перейдите на вкладку "Оценка ", а затем нажмите кнопку "Создать".
• Игровая площадка агента: перейдите к агенту, выберите вкладку Площадка, затем выберите Метрики>, выполните полную оценку.

Шаг 1. Выбор целевого объекта оценки

При создании оценки сначала выберите целевой объект оценки. Цель определяет, что будет оцениваться:

Шаг 2. Выбор области оценки

Выберите способ оценки производительности агента:

Шаг 3. Выбор источника данных

Параметры источника данных зависят от целевого объекта оценки и области.

Для оценки бесед (полные беседы агента >) (предварительная версия)

Выберите место, из которого приходят данные беседы:

Имитированные данные

Создайте синтетические диалоги, запустив агента на описаниях сценариев из набора данных. Используйте этот параметр для проверки поведения агента в управляемых сценариях перед развертыванием.

1. Выберите имитированные данные.

2. Выберите "Создать", чтобы открыть диалоговое окно конфигурации моделирования.

3. Выберите файл: выберите набор данных, содержащий описания сценариев. Каждая строка в наборе данных описывает сценарий, используемый для создания имитации беседы.

   

4. Выберите модель: выберите модель, которая имитирует пользователя в беседе:

   • gpt-4.1 (рекомендуется для сложных сценариев)
   • gpt-4o
   • gpt-4o-mini
   • gpt-4.1-mini

5. Настройка параметров имитации:

   • Количество имитированных бесед в каждом сценарии: количество бесед для каждой строки в наборе данных (1–5). Несколько бесед на каждый сценарий помогают определить дисперсию в поведении агента.
   • Количество поворотов на беседу: максимально допустимое количество поворотов для каждой беседы (1–50). Беседа заканчивается, когда задача завершена или достигнуто это ограничение.

6. Нажмите кнопку "Подтвердить", чтобы сохранить конфигурацию имитации.

Существующие беседы

Оцените реальные беседы, которые у вашего агента уже были с пользователями.

1. Выберите Существующие разговоры.
2. Настройка параметров фильтрации:
   • Количество бесед: максимальное количество бесед для выборки из диапазона дат (1–100).
   • Диапазон времени: фильтрация бесед по периоду времени. Используйте быстрые фильтры (последний день, 7D, 1M, 3M) или выберите настраиваемый диапазон дат.
3. Просмотрите и выберите нужные диалоги, чтобы включить их в оценку.

Для оценки отдельных поворотов

Выберите место, откуда приходят данные оценки:

Искусственные данные

Создайте тестовые запросы с помощью ИИ. Выберите "Искусственный " и настройте количество строк и запрос, описывающий создаваемые данные. Вы также можете отправлять файлы для повышения релевантности.

Существующий набор данных

Используйте подготовленный набор данных в формате CSV или JSONL. Выберите существующий набор данных и выберите файл из ресурсов данных проекта. Поддерживаются только форматы ФАЙЛОВ CSV и JSONL.

Существующие трассировки (только для агента)

Оцените исторические трассировки агентов в вашем проекте. Выберите Существующие трассировки и отфильтруйте по диапазону дат, чтобы выбрать трассировки.

Многомодальное содержимое (предварительная версия)

Все целевые объекты оценки поддерживают изображение и звуковое содержимое. Каждый тип контента использует определенную схему JSONL:

Содержимое изображения:

• image_url: изображение в виде URI данных (например, data:image/png;base64,...) или общедоступный URL-адрес.
• caption: текстовое описание содержимого изображения.

{"image_url": "data:image/png;base64,iVBOR...", "caption": "A red to blue color gradient"}

Звуковое содержимое:

• audio_data: аудио как URI-данные с закодированными в Base64 данными WAV (например, data:audio/wav;base64,...).
• expected: текстовое описание ожидаемого звукового содержимого.

{"audio_data": "data:audio/wav;base64,UklGR...", "expected": "A short beep tone at 440 Hz"}

Наборы данных также могут использовать формат беседы чата, где данные аудио и изображений внедрены в один столбец сообщения чата в виде URI данных или общедоступных URL-адресов.

В следующем примере показан столбец с данными беседы, содержащий встроенные изображения и аудиофайлы.

[
  {
    "role": "system",
    "content": "..."
  },
  {
    "role": "user",
    "content": [
      {
        "type": "text",
        "text": "What are in these images?"
      },
      {
        "type": "image_url",
        "image_url": {
          "url": "https://example.com/path/image.png"
        }
      },
      {
        "type": "image_url",
        "image_url": {
          "url": "data:image/png;base64,iVBORw0KGgo..."
        }
      }
    ]
  },
  {
    "role": "assistant",
    "content": "..."
  },
  {
    "role": "user",
    "content": [
      {
        "type": "text",
        "text": "Tell me the tones for the voices?"
      },
      {
        "type": "input_audio",
        "input_audio": {
          "data": "https://example.com/path/voice.wav",
          "format": "wav"
        }
      },
      {
        "type": "input_audio",
        "input_audio": {
          "data": "data:audio/wav;base64,UklGRigAAA...",
          "format": "wav"
        }
      }
    ]
  }
]

Вы можете просматривать изображения и воспроизводить звуковые клипы непосредственно в потоке создания оценки и в представлении результатов оценки.

Шаг 4. Настройка агентов

Настройте поведение агента во время оценки:

1. Просмотрите список агентов, участвующих в оценке.
2. Для каждого агента выберите "Настроить" , чтобы настроить его поведение:
   • Системный запрос: измените инструкции агента для оценки.
   • Запрос пользователя. Укажите, как каждый элемент набора данных отправляется агенту во время оценки.
3. Запуск оценки сохраняет конфигурацию агента.

Настройка запроса пользователя

Запрос пользователя определяет, как тестовые входные данные передаются агенту. По умолчанию портал использует {{item.query}} для передачи запроса к набору данных напрямую вашему агенту.

В большинстве случаев можно использовать значение по умолчанию. Измените это значение только в том случае, если агент ожидает другой входной формат. Например, если ваш агент использует протокол хостингового агента или требует структурированного ввода с дополнительными полями.

Распространенные шаблоны:

Шаг 5. Настройка сопоставления полей

Сопоставляйте поля данных с полями, которые ожидает каждый вычислитель. Обязательные поля зависят от области оценки.

Для оценки диалогов (многошаговых)

Для оценки отдельных ходов (за один ход)

Портал автоматически пытается сопоставить поля набора данных. Если поле отображается как unassigned, выберите раскрывающийся список, чтобы вручную назначить столбец из набора данных.

Шаг 6. Выбор условий тестирования

Выберите оценщиков для вашей оценки. Microsoft Foundry предоставляет три категории встроенных оценщиков. Доступные оценщики зависят от объёма оценки.

Оценщики агентов

Оцените, как эффективно агенты обрабатывают задачи, инструменты и намерения пользователя. Доступно только для отдельных областей поворотов .

Оценщики качества

Измеряйте общее качество созданных ответов. Большинство оценщиков качества доступны для всех областей оценки. Оценщики, помеченные значком ★, поддерживают анализ как на уровне беседы, так и на уровне реплики.

Оценщики безопасности

Определите потенциальные риски содержимого и безопасности. Доступно только для отдельных областей поворотов .

Портал предварительно выбирает рекомендуемых оценщиков на основе цели и объема оценки:

• Полные диалоги: Удовлетворенность клиентов, Выполнение задач, Согласованность, Обоснованность
• Отдельные реплики (существующие данные): все оценщики Agent, а также оценщики Quality и Safety
• Отдельные реплики (синтетические/трассировочные): Релевантность, Обоснованность, Беглость, Согласованность

Шаг 7. Просмотр и отправка

1. Введите имя для оценки.
2. Проверьте конфигурацию:
   • Целевой объект оценки и область
   • Источник данных и набор данных
   • Выбранные оценщики
   • Сопоставления полей (если применимо)
3. Нажмите кнопку "Отправить ", чтобы начать оценку.

После отправки запускается оценочный процесс. Оценки обычно выполняются в течение нескольких минут в зависимости от размера набора данных и количества имитируемых бесед.

Чтобы убедиться, что оценка успешно началась:

1. В левой области выберите "Оценка".
2. Найдите оценку в списке. В столбце "Состояние " отображается текущее состояние:
   • В процессе: Выполняется оценка.
   • Завершено: оценка завершилась успешно.
   • Частично: некоторые средства оценки завершились успешно, а другие — с ошибкой.
   • Сбой. При оценке возникла ошибка.

Чтобы просмотреть подробные результаты, выберите имя оценки или просмотрите результаты оценки.

Troubleshooting

Проверка завершается по тайм-ауту или выполняется медленно

• Уменьшите количество бесед или строк набора данных.
• Для симуляций уменьшите максимальное количество ходов в разговоре.
• Убедитесь, что модель судьи имеет достаточную квоту.

Ошибки сопоставления полей

• Убедитесь, что набор данных содержит обязательные столбцы для области оценки.
• Для оценки бесед убедитесь, что столбец сообщений содержит правильно отформатированные сообщения чата.
• Убедитесь, что имена столбцов в наборе данных соответствуют ожидаемым именам полей.

Квота модели превышена

• Модель-оценщик, используемая для оценок с использованием ИИ, расходует вашу квоту Azure OpenAI.
• Используйте меньший набор данных или дождитесь обновления квоты.
• Рассмотрите возможность использования gpt-4.1-mini вместо gpt-4.1 для экономичной оценки.

Лучшие практики

Для оценок на основе моделирования

• Начните с малого: начните с 1 диалога для каждого сценария и 5–10 реплик, чтобы проверить конфигурацию, прежде чем масштабировать.
• Различные сценарии. Включите различные описания сценариев для тестирования различных возможностей агента.
• Дорабатывайте запросы: если агенты ведут себя неожиданно, используйте шаг Настройка агентов, чтобы скорректировать запросы.

Для существующих оценок диалогов

• Пример представителя: выберите беседы, представляющие типичные взаимодействия с пользователем.
• Учитывайте пограничные случаи: Не ограничивайтесь оценкой только успешных диалогов — включайте и сложные сценарии.
• Регулярная оценка: планируйте регулярные оценки, чтобы отслеживать производительность агента с течением времени.

Для оценки моделей

• Тестовые наборы данных. Используйте стандартизированные наборы данных для сравнения производительности модели в разных версиях.
• Протестируйте развернутые и мгновенные модели: сравнивайте настроенные развертывания с базовыми моделями.

Для оценки набора данных

• Выходные данные предварительного вычисления: создание выходных данных в автономном режиме и массовое вычисление для повышения эффективности затрат.
• Версия наборов данных: отслеживайте версию набора данных, в которой были получены результаты оценки.

Общие советы

• Сравнение оценщиков: выполните одни и те же данные с помощью нескольких вычислителей, чтобы получить комплексное представление.
• Отслеживание тенденций. Используйте журнал оценки для выявления улучшений производительности или регрессий.
• Действовать по результатам: используйте аналитические сведения об оценке для уточнения запросов агента, определений инструментов и конфигураций.

Связанное содержимое

Дополнительные сведения об оценке моделей и агентов сгенерированных ИИ:

• Просмотр результатов оценки
• Справочник по встроенным интерпретаторам
• Оценщики агентов
• Оценщики качества
• Специалисты по оценке безопасности
• Пользовательские оценщики
• Выполнение пакетной оценки с помощью пакета SDK
• Примечание о прозрачности оценки безопасности Foundry