Тестирование модели
После успешного обучения модели можно использовать переводы для оценки качества модели. Чтобы принять обоснованное решение о том, следует ли использовать нашу стандартную модель или пользовательскую модель, следует оценить разницу между оценкой BLEU пользовательской модели и базовым показателем BLEU нашей стандартной модели. Если модель обучена в узком домене, а данные обучения соответствуют тестовых данных, вы можете ожидать высокую оценку BLEU.
Оценка BLEU
BLEU (двуязычная оценка недоумение) — это алгоритм для оценки точности или точности текста, переведенного с одного языка на другой. Пользовательский переводчик использует метрику BLEU как один из способов оценки точности перевода.
Оценка BLEU — это число от 0 до 100. Нулевой показатель указывает на некачественный перевод, который совершенно не соответствует справочному. Оценка 100 означает идеальный перевод, идентичный справочному. Необязательно стремиться к результату 100 — оценка BLEU между 40 и 60 указывает на высокое качество перевода.
Сведения о модели
Выберите колонку Сведения о модели.
Выберите имя модели. Просмотрите дату и время обучения, общее время обучения, количество предложений, используемых для обучения, настройки, тестирования и словаря. Проверьте, создана ли система наборов тестов и настроек. Используйте его
Category IDдля выполнения запросов на перевод.Выполните оценку BLEU модели. Просмотрите набор тестов: оценка BLEU — это пользовательский показатель модели, а базовый BLEU — это предварительно обученная базовая модель, используемая для настройки. Более высокая оценка BLEU означает высокий уровень перевода с помощью пользовательской модели.
Проверка качества перевода модели
Выберите колонку Тест модели.
Выберите имя модели.
Человеческое вычисление перевода из пользовательской модели и базовой модели (предварительно обученная базовая база, используемая для настройки) для ссылок (целевой перевод из тестового набора).
Если результаты обучения удовлетворительны, поместите запрос на развертывание для обученной модели.