Справочник по набору данных оценки

Наборы данных оценки в MLflow определяют структурированные тестовые данные, используемые для оценки приложения GenAI: inputsнеобязательные поля исходной истины expectationsи поля происхождения, такие как источник и теги. На этой странице описана схема набора данных и ссылки на наиболее часто используемые методы и классы ПАКЕТА SDK.

Общие сведения и примеры использования наборов данных оценки см. в разделе "Оценка приложений GenAI" во время разработки.

Схема набора данных оценки

Наборы данных оценки должны использовать схему, описанную в этом разделе.

Основные поля

Следующие поля используются как в абстракции набора данных оценки, так и при передаче данных напрямую.

expectations зарезервированные ключи

expectations имеет несколько зарезервированных ключей, которые используются встроенными судьями LLM: guidelines, expected_factsи expected_response.

Дополнительные поля

Следующие поля используются абстракцией оценочного набора данных для отслеживания происхождения и истории версий.

Исходное поле

Поле source отслеживает, откуда поступила запись набора данных. Каждая запись может иметь только один тип источника.

Источник человека: запись, созданная вручную человеком

{
    "source": {
        "human": {
            "user_name": "jane.doe@company.com"  # user who created the record
        }
    }
}

Источник документа: запись синтезирована из документа

{
    "source": {
        "document": {
            "doc_uri": "s3://bucket/docs/product-manual.pdf",  # URI or path to the source document
            "content": "The first 500 chars of the document..."  # Optional, excerpt or full content from the document
        }
    }
}

Источник трассировки: запись, созданная из рабочей трассировки

{
    "source": {
        "trace": {
            "trace_id": "tr-abc123def456". # unique identifier of the source trace
        }
    }
}

Пользовательский интерфейс набора данных оценки MLflow

Вкладка "Наборы данных" на странице эксперимента MLflow предоставляет визуальный интерфейс для управления наборами данных оценки и их записями. На странице используется макет разделенной панели: в левой области перечислены все наборы данных оценки, связанные с экспериментом, а в правой области отображаются записи выбранного набора данных. Вы можете выполнять поиск, сортировку, создание, изменение и удаление наборов данных и записей непосредственно из пользовательского интерфейса без написания кода.

На правой панели можно редактировать входные и ожидаемые данные записи, добавлять теги в отдельные записи, просматривать исходные записи для записей, созданных из рабочих трассировок, и получать готовый фрагмент кода Python для выполнения оценки в наборе данных.

Обзор пользовательского интерфейса набора данных оценки

1. На боковой панели щелкните "Эксперименты" и откройте эксперимент.

2. Перейдите на вкладку "Наборы данных ". На левой панели показаны все наборы данных оценки для этого эксперимента. По умолчанию наборы данных сортируются по времени последнего обновления. Используйте панель поиска для фильтрации по имени набора данных.

3. Щелкните имя набора данных, чтобы просмотреть свои записи в правой области. Чтобы просмотреть все столбцы, может потребоваться прокрутить вправо и влево.

4. Чтобы увеличить правую панель, наведите указатель мыши на разделитель области и щелкните стрелку влево. Щелкните стрелку еще раз, чтобы вернуться к представлению по умолчанию.

   

5. Чтобы выбрать отображаемые столбцы, нажмите кнопку "Столбцы ". Установите или отмените выбор флажков. По завершении щелкните в раскрывающемся меню.

   

Создание набора данных оценки

1. На вкладке "Наборы данных" нажмите кнопку "Создать набор данных".

   

2. В диалоговом окне щелкните "Выбрать схему" , чтобы выбрать схему каталога Unity, в которой есть CREATE TABLE разрешения.

3. Введите имя таблицы для набора данных. Предварительный просмотр полного имени набора данных (catalog.schema.table_name) отображается под входными данными.

4. Нажмите кнопку "Создать набор данных".

Добавление записей набора данных

Сведения о добавлении существующих трассировок в набор данных оценки см. в статье "Создание набора данных с помощью пользовательского интерфейса".

Изменение записей набора данных

В видео показаны следующие действия.

1. Выберите набор данных в левой области, чтобы просмотреть свои записи.
2. Поля "Входные данные " и "Ожидания " можно изменять непосредственно в таблице. Эти поля принимают JSON и проверяют входные данные по мере ввода.
3. Чтобы добавить новую строку, нажмите кнопку "Добавить запись". Новая строка со значениями по умолчанию отображается в верхней части таблицы.
4. Чтобы сохранить все ожидающие изменения, нажмите кнопку "Сохранить изменения " в правом верхнем углу.

Удаление записей или наборов данных

• Чтобы удалить записи, установите флажки, чтобы выбрать одну или несколько записей, а затем нажмите кнопку "Удалить( N)".

• Чтобы удалить набор данных, нажмите кнопку "Показать сведения ", чтобы открыть область сведений, а затем нажмите кнопку "Удалить набор данных " в нижней части области. Вы также можете удалить набор данных из В списке наборов данных.

Просмотр сведений о наборе данных

Чтобы просмотреть метаданные для набора данных, нажмите кнопку "Показать сведения " в правом верхнем углу. Откроется область, включая имя набора данных, идентификатор, время создания, последнее обновление, источник и ссылку для просмотра набора данных в каталоге Unity.

Добавление и удаление тегов

В столбце "Теги" щелкните тег, чтобы изменить его, или нажмите кнопку "Добавить теги ", чтобы добавить новый тег.

Просмотр исходной трассировки

В столбце "Источник " щелкните трассировку, чтобы открыть интерактивное окно с полными трассировками и оценками.

Запуск оценки с помощью набора данных

Чтобы открыть диалоговое окно с шаблоном кода Python, который загружает набор данных и запускается mlflow.genai.evaluate() с набором показателей по умолчанию:

1. Нажмите кнопку "Запустить оценку".

   

2. Щелкните значок копирования, показанный на следующем рисунке, чтобы скопировать фрагмент в буфер обмена.

   

Справочник SDK по набору данных оценки MLflow

Пакет SDK для оценки наборов данных предоставляет программный доступ для создания, управления и использования наборов данных для оценки приложений GenAI. Дополнительные сведения см. в справочнике по API: mlflow.genai.datasets Ниже приведены некоторые из наиболее часто используемых методов и классов:

• mlflow.genai.datasets.create_dataset
• mlflow.genai.datasets.get_dataset
• mlflow.genai.datasets.delete_dataset
• EvaluationDataset. Этот класс предоставляет методы для взаимодействия и изменения наборов данных оценки.