Примечание о прозрачности для языка Azure в средствах Foundry

Важно

Для удобства предоставляются только переводы, отличные от английского языка. Ознакомьтесь с EN-US версией этого документа для окончательной версии.

Что такое заметка о прозрачности?

Система ИИ включает не только технологию, но и людей, которые будут использовать его, людей, которые будут затронуты им, и среды, в которой она развернута. Для создания системы, которая подходит для ее целевой цели, требуется понимание того, как работает технология, ее возможности и ограничения, а также как достичь оптимальной производительности. Заметки о прозрачности Microsoft призваны помочь вам понять, как работает наша технология ИИ, какие выборы могут делать владельцы системы, чтобы влиять на производительность и поведение системы, и насколько важно рассматривать всю систему в целом, включая технологию, людей и окружающую среду. При разработке или развертывании собственной системы можно использовать прозрачные заметки или поделиться ими с пользователями, которые будут использовать вашу систему или на которых она повлияет.

Заметки о прозрачности Microsoft являются частью более широких усилий Microsoft по реализации принципов ИИ. Дополнительные сведения см. в разделе принципы ИИ Microsoft.

Основы языка Azure в средствах Foundry

Введение

Язык — это облачная служба, которая предоставляет функции обработки естественного языка (NLP) для анализа текста и анализа текста, включая следующие функции:

Ознакомьтесь с обзором, чтобы получить общие сведения о каждой функции и просмотреть примеры вариантов использования. Ознакомьтесь с руководствами и справочником по API, чтобы узнать больше о том, что делает каждая функция и что возвращает система.

В этой статье содержатся основные рекомендации по использованию функций языка ответственно. Сначала ознакомьтесь с общими сведениями, а затем перейдите к определенной статье, если вы используете одну из следующих функций.

Возможности

Варианты использования

Языковые службы можно использовать в нескольких сценариях в различных отраслях. Ниже приведены некоторые примеры функций:

  • Используйте пользовательское распознавание именованных сущностей для интеллектуального анализа знаний и улучшения семантического поиска. Поиск является основой для любого приложения, которое отображает текстовое содержимое пользователям. Распространенные сценарии включают поиск по каталогу или документу, поиск розничных продуктов или интеллектуальное извлечение знаний для науки о данных. Многие предприятия в различных отраслях хотят создать широкий интерфейс поиска по частному разнородному содержимому, который включает как структурированные, так и неструктурированные документы. В рамках потока обработки разработчики могут использовать настраиваемое Распознавание Именованных Сущностей (NER) для извлечения сущностей из текста, относящихся к их отрасли. Эти сущности можно использовать для обогащения индексирования файла для более настраиваемого интерфейса поиска.

  • Используйте распознавание именованных сущностей для улучшения или автоматизации бизнес-процессов. Например, при проверке страховых случаев распознанные элементы, такие как имя и местоположение, выделяются для облегчения проверки. Или запрос в службу поддержки можно создать с именем клиента и компанией автоматически из электронной почты.

  • Используйте личную идентифицируемую информацию, чтобы изменить некоторые категории персональных данных из документов для защиты конфиденциальности. Например, если записи контактов клиентов доступны для представителей службы поддержки первой линии, компания может потребовать отредактировать ненужные персональные данные клиента из журнала клиентов, чтобы сохранить конфиденциальность клиента.

  • Используйте обнаружение языков для обнаружения языков для бизнес-рабочего процесса. Например, если компания получает электронную почту на различных языках от клиентов, они могут использовать обнаружение языка для маршрутизации сообщений электронной почты по языку к носителям языка для удобства взаимодействия с этими клиентами.

  • Используйте анализ тональности для отслеживания положительных и отрицательных тенденций обратной связи в целом. После запуска нового продукта розничный торговец может использовать службу анализа настроений для мониторинга разных социальных сетей и отслеживания упоминаний о продукте, а также эмоциональной окраски этих упоминаний. Они могли бы обсудить текущие настроения на своих еженедельных продуктовых собраниях.

  • Используйте суммаризацию для извлечения ключевых сведений из публикуемых новостных статей. Для создания аналитических сведений, таких как тенденции и освещение новостей.

  • Использование извлечения ключевых фраз для просмотра статистических тенденций в текстовых данных. Например, облако word можно создать с помощью ключевых фраз, которые помогут визуализировать ключевые понятия в текстовых комментариях или обратной связи. Например, отель может создать облако слов на основе ключевых фраз, определенных в своих комментариях, и может увидеть, что люди чаще всего комментируют расположение, чистоту и доброжелательный персонал.

  • Используйте Анализ текста для здравоохранения для извлечения аналитических сведений и статистики. Определите медицинские сущности, такие как симптомы, лекарства и диагнозы в разнообразных клинических документах, включая клинические заметки. Используйте эту информацию для получения аналитических сведений и статистики по популяции пациентов, поиска клинических документов, исследовательских документов и публикаций.

  • Используйте настраиваемую классификацию текста для автоматической сортировки электронной почты или билета. Центры поддержки всех типов получают большой объем электронных писем или заявок, содержащих неструктурированный, свободный текст и вложения. Своевременное рассмотрение, подтверждение и маршрутизация к эксперту по соответствующей теме внутри внутренних команд является критически важным. Для проверки электронной почты в этом масштабе требуется, чтобы люди просматривали и направляли их в нужные отделы, что занимает время и ресурсы. Пользовательская классификация текста может использоваться для анализа входящего текста, а также для классификации содержимого, который будет автоматически перенаправлен в соответствующие отделы для дальнейшего действия.

  • Используйте Conversational Распознавание речи для создания полноценных ботов для общения. Используйте CLU для создания и обучения пользовательской модели распознавания естественного языка на основе определенного домена и высказываний ожидаемых пользователей. Интегрируйте его с любым комплексным ботом общения, чтобы он может обрабатывать и анализировать входящий текст в режиме реального времени, чтобы определить намерение текста и извлечь из него важную информацию. Запустите бота необходимые действия на основе намерения и извлеченных сведений. Примером будет настраиваемый розничный бот для онлайн-покупок или заказа продуктов питания.

  • Используйте ответы на вопросы для поддержки клиентов. В большинстве сценариев поддержки клиентов часто задаются распространенные вопросы. Ответы на вопросы позволяют мгновенно создать бот чата из существующего содержимого поддержки, и этот бот может выступать в качестве интерфейсной системы для обработки запросов клиентов. Если не удается ответить на вопросы ботом, дополнительные компоненты могут помочь определить и пометить вопрос о вмешательстве человека.

Ограничения

Качество входящего текста в систему повлияет на результаты.

Языковые функции обрабатывают только текст. Точность и форматирование входящего текста повлияет на производительность системы. Убедитесь, что вы учитываете следующее:

  • Качество транскрибирования речи может повлиять на качество результатов. Если исходные данные являются голосовой связью, убедитесь, что вы используете сочетание автоматического и человеческого транскрибирования, чтобы обеспечить лучшую производительность. Рекомендуется использовать пользовательские модели речи для повышения качества результатов.

  • Отсутствие стандартных знаков препинания или правильного написания регистром может повлиять на качество результатов. Если вы используете систему распознавания речи, например Azure Speech в инструментах Foundry для преобразования текста, обязательно выберите параметр, чтобы включить пунктуацию.

  • Качество оптического распознавания символов (OCR) может повлиять на качество системы. Если исходные данные являются изображениями и используют технологию OCR для создания текста, неправильно сформированный текст может повлиять на производительность системы. Рекомендуется использовать пользовательские модели OCR, чтобы повысить качество результатов.

  • Если данные включают частые ошибки, рекомендуется использовать проверку орфографии Bing для исправления ошибок.

  • Табличные данные могут быть неправильно определены в зависимости от способа отправки текста таблицы в систему. Оцените способ отправки текста из таблиц в исходных документах в службу. Для таблиц в документах используйте Azure Document Intelligence в средствах Foundry Tools или аналогичную службу. Это позволит вам получить соответствующие ключи и значения для отправки в систему Language, с контекстными ключами, которые достаточно близки к этим значениям, чтобы система правильно распознала сущности.

  • Microsoft обучала свои модели языковых функций (за исключением обнаружения языка) с использованием данных естественного языкового текста, состоящего в основном из сформированных предложений и абзацев. Таким образом, использование этой службы для данных, наиболее похожих на этот тип текста, обеспечивает лучшую производительность. Мы рекомендуем избежать использования этой службы для оценки неполных предложений и фраз, где это возможно, так как производительность может быть сокращена.

  • Служба поддерживает только текст одного языка. Если текст содержит несколько языков, например, "бутерброд был bueno", выходные данные могут не быть точными.

  • Код языка должен соответствовать языку ввода, чтобы получить точные результаты. Если вы не уверены в языке ввода, вы можете использовать функцию обнаружения языка.

Рекомендации по улучшению производительности системы

Некоторые функции языка возвращают оценки достоверности и могут быть оценены с помощью подхода, описанного в следующих разделах. Другие функции, которые не возвращают оценку достоверности (например, извлечение ключевых слов и суммирование), необходимо оценить с помощью различных методов.

Общие сведения об оценках достоверности для анализа тональности, распознавания именованных сущностей, обнаружения языка и функций здоровья

Тональность, распознавание именованных сущностей, функции обнаружения языка и функции проверки работоспособности возвращают оценку уверенности в рамках системного ответа. Это показатель того, насколько уверена служба в ответе системы. Более высокое значение указывает, что служба уверена в том, что результат является точным. Например, система распознает сущность категории водительских прав США в тексте 555 555 555, если указан текст "Мой номер водительских прав NY составляет 555 555 555" с оценкой .75 и может распознать категорию водительских прав США в тексте 555 555 555 с оценкой .65, если указан текст "Мой номер водительских прав NY равен 555 555 555". Учитывая более конкретный контекст в первом примере, система более уверена в своем ответе. Во многих случаях системный ответ можно использовать без проверки оценки достоверности. В других случаях можно использовать ответ только в том случае, если его оценка достоверности превышает указанное пороговое значение оценки достоверности.

Понимание и измерение производительности

Производительность языковых функций измеряется путем изучения того, насколько хорошо система распознает поддерживаемые концепции NLP (по заданному пороговому значению в сравнении с анализом человека). Например, для извлечения именованных сущностей (NER) можно подсчитать истинное количество сущностей с номерами телефонов в некотором тексте на основе человеческого анализа, а затем сравнить с выходными данными системы после обработки того же текста. Сравнение человеческого решения с распознаваемыми сущностями системы позволит классифицировать события в два типа правильных (или "true") событий и два типа неправильных (или ложных) событий.

Результат Правильный/Неправильный Определение Пример
Истинно положительное Правильно Система возвращает тот же результат, который ожидался бы от человеческого судьи. Система правильно распознает сущность PII категории номер телефона на тексте 1-234-567-8910 при указании текста: "Вы можете связаться со мной по номеру офиса 1-234-567-9810".
Истинно отрицательный результат Правильно Система не возвращает результат, и это соответствует ожидаемому от человеческого судьи. Система не распознает какую-либо сущность PII при указании текста: "Вы можете связаться со мной по номеру офиса".
Ложное срабатывание Неправильный Система возвращает результат в случаях, когда человеческий судья этого не сделает. Система неправильно распознает сущность PII категории номер телефона для текстового номера офиса при указании текста: "Вы можете связаться со мной по номеру офиса".
Ложный отрицательный Неправильный Система не возвращает результат, как поступил бы человеческий судья. Система неправильно пропускает сущность PII номера телефона в тексте 1-234-567-8910 при указании текста: "Вы можете связаться со мной по номеру офиса 1-234-567-9810".

Особенности языка не всегда будут корректными. Скорее всего, вы будете испытывать как ложные отрицательные, так и ложные положительные ошибки. Важно учитывать, как повлияет на систему каждый тип ошибки. Тщательно продумайте сценарии, в которых реальные события не будут распознаны, а неправильные события будут распознаны, и какие последствия это может иметь для вашей реализации. Обязательно создайте способы выявления, отчета и реагирования на каждую ошибку. Планируйте периодически проверять производительность развернутой системы, чтобы убедиться, что ошибки обрабатываются соответствующим образом.

Настройка пороговых значений оценки достоверности

Вы можете принимать решения в вашей системе на основе оценки достоверности, которую возвращает система. Вы можете настроить порог оценки достоверности, который используется системой в соответствии с вашими потребностями. Если более важно определить все потенциальные экземпляры концепций NLP, которые вы ищете, можно использовать более низкий порог. Это означает, что вы можете получить больше ложноположительных результатов, но меньше ложноотрицательных результатов. Если для системы более важно распознать только истинные экземпляры вызываемой функции, можно использовать более высокое пороговое значение. Если вы используете более высокое пороговое значение, вы можете получить меньше ложных срабатываний, но больше ложных отрицательных. Различные сценарии вызывают различные подходы. Кроме того, пороговые значения могут не иметь согласованного поведения в отдельных функциях языка и категорий сущностей. Например, не делайте предположение, что использование определенного порогового значения для категории NER «Номер телефона» будет достаточным для другой категории NER, или что пороговое значение, которое вы используете в задачах NER, будет работать аналогично для анализа чувствительности. Поэтому крайне важно протестировать систему с любыми порогами, которые вы рассматриваете с реальными данными, чтобы определить влияние различных пороговых значений системы в контексте, который он будет использоваться.

Справедливость

В Microsoft мы стремимся расширить возможности каждого человека на планете, чтобы добиться большего. Основная часть этой цели заключается в создании технологий и продуктов, которые являются справедливыми и инклюзивными. Справедливость является многомерной, социально-технической темой и влияет на множество различных аспектов разработки продуктов. Дополнительные сведения о подходе Microsoft к справедливости здесь.

Один аспект, который необходимо учитывать, заключается в том, насколько хорошо система функционирует для разных групп людей. Это может включать в себя просмотр точности модели, а также измерение производительности полной системы. Исследования показали, что без сознательных усилий, направленных на улучшение производительности для всех групп, зачастую возможно, чтобы производительность системы ИИ изменялась в зависимости от таких факторов, как раса, этническое происхождение, язык, пол и возраст.

Каждая служба и функция отличаются, и наше тестирование может не полностью соответствовать вашему контексту или охватывать все сценарии, необходимые для вашего варианта использования. Мы рекомендуем разработчикам тщательно оценивать частоту ошибок для службы с реальными данными, которые отражают ваш вариант использования, включая тестирование с пользователями из разных демографических групп.

Для языка некоторые диалекты и разновидности языка в поддерживаемых языках и тексте из некоторых демографических групп пока не имеют достаточного представления в наших текущих наборах данных обучения. Мы рекомендуем вам ознакомиться с нашими рекомендациями по ответственному использованию, и если вы столкнулись с различиями в производительности, мы рекомендуем вам сообщить нам об этом.

Производительность зависит от функций и языков

Для каждой функции языка поддерживаются различные языки. Вы можете найти, что производительность для определенной функции не согласуется с другой функцией. Кроме того, вы можете найти, что для определенной функции производительность не согласована на разных языках.

Дальнейшие действия

Если вы используете какие-либо из приведенных ниже функций, обязательно просмотрите конкретные сведения для этой функции.

См. также

Кроме того, обязательно просмотрите следующее:

  • Last updated on