Примечание о прозрачности для анализа тональности

Важно

Для удобства предоставляются только переводы, отличные от английского языка. Ознакомьтесь с EN-US версией этого документа для окончательной версии.

Что такое заметка о прозрачности?

Важно

В этой статье предполагается, что вы знакомы с рекомендациями и передовыми методами для Azure Language в инструментах Foundry. Дополнительные сведения см. в заметке о прозрачности языка.

Система ИИ включает не только технологию, но и людей, которые будут использовать его, людей, которые будут затронуты им, и среды, в которой она развернута. Для создания системы, которая подходит для ее целевой цели, требуется понимание того, как работает технология, ее возможности и ограничения, а также как достичь оптимальной производительности. Заметки о прозрачности Microsoft призваны помочь вам понять, как работает наша технология ИИ, какие выборы могут делать владельцы системы, чтобы влиять на производительность и поведение системы, и насколько важно рассматривать всю систему в целом, включая технологию, людей и окружающую среду. При разработке или развертывании собственной системы можно использовать прозрачные заметки или поделиться ими с пользователями, которые будут использовать вашу систему или на которых она повлияет.

Прозрачные записки Microsoft являются частью более широких усилий Microsoft по реализации наших принципов ИИ. Дополнительные сведения см. в статье Microsoft Принципы ИИ.

Основы анализа тональности

Введение

Функция анализа тональности языка оценивает текст и возвращает оценки тональности и метки для каждого предложения. Это полезно для обнаружения положительных, нейтральных и отрицательных тональности в социальных сетях, отзывах клиентов, форумах обсуждений и других сценариях продуктов и услуг.

Возможности

Системное поведение

Анализ тональности предоставляет метки тональности (например, "отрицательные", "нейтральные" и "положительные") на основе самой высокой оценки достоверности, найденной службой на уровне предложения и документа. Эта функция также возвращает оценки достоверности от 0 до 1 для каждого документа и предложения для положительного, нейтрального и отрицательного тональности. Оценки ближе к 1 указывают на более высокую достоверность классификации метки, а более низкие оценки указывают на более низкую достоверность. По умолчанию общая метка тональности является наибольшим из трех показателей достоверности, однако вы можете определить пороговое значение для любой или всех отдельных показателей достоверности тональности в зависимости от того, что лучше всего подходит для вашего сценария. Для каждого документа или каждого предложения сумма прогнозируемых оценок, связанных с метками (положительными, отрицательными и нейтральными), равна 1. Узнайте больше о метках и оценках тональности.

Кроме того, необязательная функция интеллектуального анализа мнений возвращает аспекты (например, атрибуты продуктов или услуг) и слова, связанные с мнением. Для каждого аспекта возвращается общая метка сентимента, а также оценки уверенности для положительных и отрицательных сентимента. Например, предложение "Ресторан имел отличную еду, и наш официант был дружественным" имеет два аспекта, "еда" и "официант", и их соответствующие слова мнения "отличные" и "дружественные". Поэтому два аспекта получают классификацию positiveтональности с оценкой достоверности от 0 до 1,0. Узнайте больше о анализе мнений.

См. ответ JSON для этого примера.

Варианты использования

Анализ тональности можно использовать в нескольких сценариях в различных отраслях. Ниже приведены некоторые примеры:

  • Отслеживайте положительные и отрицательные тенденции обратной связи в совокупности. После представления нового продукта розничный торговец может использовать сервис анализа тональности для мониторинга нескольких социальных сетей для упоминания о продукте и его связанном настроении. Тенденции настроений можно использовать на продуктовых совещаниях для принятия бизнес-решений по новому продукту.
  • Проведите анализ тональности на сыром текстовом материале опросов, чтобы получить информацию для анализа и последующих действий с участниками (такими как клиенты, сотрудники, потребители и т. д.). Магазин с политикой следовать за отрицательными отзывами клиентов в течение 24 часов и за положительными отзывами в течение недели может использовать службу анализа тональности для классификации отзывов, чтобы обеспечить простую и своевременную обработку.
  • Помогите сотрудникам службы клиентов улучшить взаимодействие клиентов с помощью аналитических сведений, полученных из анализа взаимодействия в режиме реального времени. Извлеките аналитические сведения из транскрибированных вызовов служб клиентов, чтобы лучше понять взаимодействие с агентом клиента и тенденции для улучшения взаимодействия с клиентами.

Рекомендации при выборе варианта использования

  • Избегайте автоматических действий без вмешательства человека для сценариев с высоким воздействием. Например, бонусы сотрудников не должны автоматически основываться на оценках тональности текстов их взаимодействий с клиентским обслуживанием. Исходные данные всегда должны проверяться при влиянии экономической ситуации человека, здоровья или безопасности.
  • Тщательно рассмотрите сценарии за пределами домена проверки продукта и службы. Так как модель обучена на проверках продуктов и служб, система может не точно распознать язык, ориентированный на тональность в других доменах. Всегда проверяйте систему в наборах данных операционного теста, чтобы обеспечить необходимую производительность. Набор данных операционного теста должен отражать реальные данные, которые система будет видеть в рабочей среде со всеми характеристиками и вариациями, которые будут присутствовать при внедрении продукта. Искусственные данные и тесты, которые не отражают сквозной сценарий, вряд ли будут достаточны.
  • Тщательно рассмотрим сценарии, которые принимают автоматическое действие для фильтрации или удаления содержимого. Вы можете добавить цикл проверки человека и (или) повторное ранжирование содержимого (а не фильтровать его полностью), если ваша цель заключается в том, чтобы обеспечить соответствие содержимого стандартам сообщества.
  • Юридические и нормативные аспекты: организациям необходимо оценить потенциальные определенные юридические и нормативные обязательства при использовании любых средств и решений Foundry, которые могут быть не подходящими для использования в каждой отрасли или сценарии. Кроме того, средства и решения Foundry не предназначены для использования и не могут использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.

Ограничения

В зависимости от сценария и входных данных можно столкнуться с разными уровнями производительности. Следующие сведения предназначены, чтобы помочь вам понять ограничения системы и ключевые понятия о производительности при применении этих знаний к анализу тональности.

Основные ограничения, которые следует учитывать:

  • Модель машинного обучения, используемая для прогнозирования сентимента, была обучена на отзывах о продуктах и услугах. Это означает, что служба будет работать наиболее точно для похожих сценариев и менее точно для сценариев за пределами сферы обзоров продуктов и служб. Например, аттестация персонала может использовать другой язык для выражения мнений, поэтому вы можете не получить ожидаемые результаты или производительность. Слово, например "сильный", в выражении "Шафали была сильным лидером", может не получить положительную тональность, потому что слово "сильный" может не иметь четко положительной тональности в обзорах продуктов и услуг.

  • Поскольку модель обучена на обзорах продуктов и услуг, диалекты и языки, которые меньше представлены в наборе данных, могут иметь более низкую точность.

  • Модель не имеет понимания относительной важности различных предложений, которые отправляются вместе. Поскольку общее мнение является простым совокупным результатом предложений, общая оценка настроения может не совпадать с человеческой интерпретацией, учитывающей, что некоторые предложения могут иметь большую важность при определении общего настроения.

  • Модель может не распознавать саркасм. Контекст, например тон голоса, выражение лица, автор текста, аудитория текста или предыдущий разговор часто важны для понимания тональности. Чтобы распознать, является ли ввод текста саркастическим, положительным или отрицательным, часто требуется дополнительный контекст. Учитывая, что служба видит только текстовые входные данные, классификация саркастичной тональности может быть менее точной. Например, фраза "это было потрясающе" может иметь как положительное, так и отрицательное значение в зависимости от контекста, тона голоса, выражения лица, автора и аудитории.

  • Величина оценки уверенности не отражает интенсивность эмоциональной окраски. Он основан на уверенности модели в отношении определенной тональности (положительная, нейтральная, отрицательная). Таким образом, если ваша система зависит от интенсивности тональности, рассмотрите возможность использования человеческого оценщика или логики постобработки для отдельных оценок мнений или исходного текста, чтобы помочь ранжировать интенсивность тональности.

  • Хотя мы предприняли усилия по сокращению предвзятости, свойственной нашим моделям, ограничения, связанные с языковыми моделями, включая возможность создания неточных, ненадежных и предвзятых выходных данных, также применимы к модели анализа настроений. Мы ожидаем, что модель будет иметь некоторые ложные отрицательные и положительные на данный момент, но мы стремимся собрать отзывы пользователей, чтобы помочь нашим текущим работам по улучшению этой службы.

Рекомендации по улучшению производительности системы

Поскольку тональность несколько субъективна, невозможно обеспечить универсальную оценку производительности модели. В конечном счете производительность зависит от ряда факторов, таких как предметный домен, характеристики обработанного текста, вариант использования системы и интерпретация выходных данных системы.

Вы можете заметить, что оценки достоверности для положительных, отрицательных и нейтральных настроений отличаются в зависимости от вашего сценария. Вместо использования общей тональности уровня предложения для полного документа или предложения можно определить пороговое значение для любой или всех отдельных показателей достоверности тональности, которые лучше всего подходят для вашего сценария. Например, если более важно определить все потенциальные случаи негативного настроения, можно использовать более низкий порог чувствительности для отрицательного настроения, вместо анализа общей метки настроения. Это означает, что вы можете получить больше ложных положительных результатов (когда нейтральный или положительный текст распознается как негативное настроение), но меньше ложных отрицательных результатов (когда негативный текст не распознается как негативное настроение). Например, вы можете прочитать все отзывы о продукте, которые имеют потенциально негативный оттенок, чтобы найти идеи по улучшению продукта. В этом случае можно использовать только отрицательный показатель тональности и задать более низкий порог. Это может привести к дополнительной работе, потому что вы в конечном итоге читаете некоторые отзывы, которые не являются отрицательными, но вы, скорее всего, определите возможности для улучшения. Если для системы более важно распознать только истинный отрицательный текст, можно использовать более высокое пороговое значение или использовать общую метку тональности. Например, может потребоваться ответить на отзывы о продуктах, которые являются отрицательными. Если вы хотите сократить трудозатраты на чтение и ответ на отрицательные отзывы, можно использовать только общее предсказание настроения и игнорировать отдельные показатели настроения. Хотя может быть предсказано некоторое негативное настроение, которое вы можете пропустить, вы, вероятно, получите большую часть по-настоящему отрицательных отзывов. Пороговые значения могут не иметь согласованного поведения в сценариях. Поэтому важно протестировать систему с реальными данными, которые будут обрабатываться в рабочей среде.

См. также

  • Last updated on