Выбор технологии обработки целевого языка для Искусственного интеллекта Azure

Средства Foundry помогают разработчикам и организациям создавать расширенные и готовые к работе приложения, которые соответствуют ответственным методам ИИ с помощью стандартных, предварительно созданных и настраиваемых API и моделей.

В этой статье описываются целевые возможности обработки языка, которые предоставляют средства, включая обработку естественного языка, анализ текста, распознавание речи, перевод и извлечение данных документов. Она включает следующие службы:

  • Языковые возможности Azure в инструментах Foundry — это облачная служба, предоставляющая функции обработки естественного языка для понимания и анализа текста, включая распознавание именованных сущностей (NER), анализ тональности, определение языка, суммаризацию и ответы на вопросы.

  • Azure Translator в инструментах Foundry — это служба машинного перевода. Он предоставляет перевод текста в режиме реального времени, пакетный и однофайловой перевод документов, а также пользовательские переводы , которые можно использовать для включения специализированной терминологии или языка для конкретной отрасли для вашего варианта использования. Azure Translator поддерживает несколько языков.

  • Интеллектуальная обработка документов Azure в инструментах Foundry — это служба, которая преобразует изображения непосредственно в электронные формы. Вы можете указать ожидаемые поля и поисковые изображения, которые вы предоставляете для извлечения этих полей без вмешательства человека. Аналитика документов Azure размещает множество предварительно созданных моделей. Его также можно использовать для создания собственных пользовательских моделей.

  • Azure Content Understanding in Foundry Tools — это служба, которая использует генерированный ИИ для извлечения полей, определенных схемой, из документов с помощью описания естественного языка. Используйте Azure Content Understanding, если для вашего типа документа нет предварительно созданной модели Azure Document Intelligence, если вам нужны оценки уверенности и обоснования для автоматизированных рабочих процессов или когда требуется получить готовые к RAG выходные данные в формате Markdown.

  • Foundry Models — это служба, которая предоставляет модели ИИ, которые можно использовать непосредственно через API для языковых задач, таких как создание контента, сводка и перевод.

Язык Azure

Язык Azure предоставляет специализированные средства, которые подключают агентов к службам обработки языка с помощью стандартных протоколов.

Использование языка Azure для этих задач Не используйте язык Azure для этих задач
Создавайте интеллектуальные приложения с помощью веб-библиотек Microsoft Foundry, REST API и клиентских библиотек. Поиск документов с помощью чата. Вместо этого используйте поиск по искусственному интеллекту Azure .
Работа с структурированными или неструктурированными документами для широкого спектра задач, связанных с языком, описанных в этой статье. Проверьте документы для обеспечения безопасности содержимого. Вместо этого используйте Content Safety в плоскости управления Foundry.
Перевод документов. Для перевода используйте Azure Translator.

Доступные средства языка Azure

Сервер контекста модели языка Azure (MCP) подключает агенты непосредственно к службам языка Azure через MCP. Эта интеграция позволяет разработчикам создавать диалоговые приложения, которые имеют надежные возможности обработки естественного языка, обеспечивая соответствие корпоративного уровня, защиту данных и точность обработки в рабочих процессах ИИ. Язык Azure предоставляет как удаленные, так и локальные параметры сервера MCP:

  • Удаленный сервер: Доступно в каталоге средств для развертываний, размещенных в облаке.
  • Локальный сервер: Доступно разработчикам, которые предпочитают размещать сервер в собственной среде.

Доступные агенты языка Azure

В следующей таблице приведен список агентов, доступных в языках Azure для сценариев общения с искусственным интеллектом.

Агент Описание
Агент по маршрутизации намерений Управляет потоками бесед, понимая намерения пользователей и предоставляя точные ответы в приложениях ИИ для общения. Использует предсказуемые процессы принятия решений в сочетании с контролируемым созданием ответов для обеспечения последовательного и надежного взаимодействия.
Точный агент ответа на вопросы Предоставляет надежные, дословные ответы на важные бизнес-вопросы. Автоматизирует ответы на часто задаваемые вопросы при поддержании человеческого контроля и контроля качества, чтобы обеспечить точность и соответствие стандартам.

Доступные функции языка Azure

В следующей таблице приведен список функций, доступных на языке Azure.

Функция Описание
НЭР Определяет различные записи в тексте и классифицирует их в стандартные типы, такие как люди, события, места и даты.
Обнаружение персональных данных и данных о здоровье Определяет сущности в тексте и беседах, включая чат или расшифровку, связанные с отдельными лицами. Обнаруживает и редактирует конфиденциальную информацию, например номера телефонов, адреса электронной почты и формы идентификации.
Обнаружение языка Вычисляет текст и обнаруживает широкий спектр языков и диалектов.
Анализ тональности и майнинг мнений Помогает понять общественное восприятие вашего бренда или темы, анализируя текст на наличие признаков положительного или отрицательного настроения и связывая их с определёнными аспектами содержания.
Резюмирование Сжимает информацию для текста и бесед. Поддерживает извлечение ключевых предложений, создание абстрактных сводок, которые генерируют краткие новые предложения, суммирование встреч с указанием меток времени и суммирование разговоров в call-центрах.
Извлечение ключевых фраз Вычисляет и возвращает основные понятия в неструктурированном тексте в виде списка.
Связывание сущностей Разрешает неоднозначности идентичности сущностей, например, слова или фразы, найденные в неструктурированном тексте, и предоставляет ссылки на Википедию. Связывание сущностей завершается 1 сентября 2028 г. Рекомендуется перенести существующие рабочие нагрузки в NER.
Анализ текста для сферы здравоохранения Извлекает и маркирует соответствующую медицинскую информацию из неструктурированных текстов, таких как заметки врача, выписные эпикризы, клинические документы и электронные медицинские записи.

При проектировании рабочей нагрузки оцените расположение обработки и место расположения данных этой облачной функции, чтобы убедиться, что она соответствует вашим ожиданиям по соответствию. Некоторые рабочие нагрузки могут столкнуться с ограничениями, ограничивающими их емкость для отправки данных здравоохранения на облачную платформу.

Вы можете использовать этот API в качестве контейнера Docker для размещения в собственных вычислительных ресурсах в облаке или локально. Этот процесс может помочь решить проблемы соответствия требованиям, связанные с использованием предложений платформы в качестве службы (PaaS). Дополнительные сведения см. в статье «Использование анализа текста для контейнеров здравоохранения».
Настраиваемая классификация текста Создает пользовательские модели ИИ для классификации неструктурированных текстовых документов по определенным пользовательским классам.
Пользовательский NER Создает пользовательские модели ИИ для извлечения категорий пользовательских сущностей, таких как метки для слов или фраз, используя предоставленный вами неструктурированный текст.
Распознавание речи (CLU) Создает настраиваемые модели обработки естественного языка для прогнозирования намерений пользователя из каждого входного сообщения и извлечения из него важной информации.
Рабочий процесс оркестрации Подключает CLU и приложения для ответов на вопросы.
Ответы на вопросы Определяет наиболее подходящий ответ для входных данных пользователей. Обычно используется для создания конверсaционных клиентских приложений, таких как приложения социальных сетей, чат-боты и настольные приложения с поддержкой речи.

Выбор функции языка Azure

В следующей таблице приведен список возможных вариантов использования языка Azure. Если функция настраивается, вы можете обучить модель ИИ с помощью средств Майкрософт для соответствия определенным данным. В противном случае функция предварительно настроена, а это значит, что ее модели ИИ остаются неизменными. Вы предоставляете свои данные и используете выходные данные функции в своих приложениях.

Вариант использования Настраивается
Прогнозирование намерения входных данных пользователей и извлечение информации из них. Да
Определите и отредактируйте конфиденциальную информацию, например персональные данные. Нет
Определите язык, на который написан текст. Нет
Извлекайте медицинскую информацию из клинических или медицинских документов без построения модели. Нет
Извлеките медицинскую информацию из клинических или медицинских документов с помощью модели, обученной на ваших данных. Да
Извлеките категории сведений без создания пользовательской модели. Нет
Извлекайте категории информации с помощью модели, специфичной для ваших данных. Да
Извлеките основные темы и важные фразы. Нет
Подведите итоги документа. Нет
Классификация текста с помощью анализа тональности. Да
Классификация текста с помощью пользовательских классов. Да
Классифицируйте элементы в категории, предоставляемые во время вывода. Нет
Связать сущность со статьями базы знаний. Нет
Понимание общих вопросов и ответов. Да
Создайте беседное приложение, которое отвечает на входные данные пользователей. Нет
Подключайте приложения от CLU и для ответов на вопросы. Да

Переводчик Azure

Azure Translator — это облачная служба перевода нейронных машин (NMT). Azure Translator используется во многих продуктах и службах компании Майкрософт, которые применяются по всему миру для перевода и выполнения других задач, связанных с языком.

Использование Azure Translator для этих задач Не используйте Azure Translator для этих задач
Занимайтесь переводом конкретным образом. Azure Translator является более эффективным и экономичным, чем базовые языковые модели общего назначения из-за его целевых моделей перевода. Взаимодействуйте с чатом.
Анализ содержимого на наличие тональности Для анализа тональности используйте язык Azure.
Умеренное содержимое. Для модерации контента используйте безопасность контента.

Возможности и параметры разработки

В следующей таблице приведен список функций, доступных в Azure Translator.

Функция Описание
Перевод текста (предварительная версия) Используйте версию 2025-10-01-preview, чтобы выбрать между стандартной NMT или развертыванием языковой модели (GPT-4o-mini или GPT-4o) для перевода текста. Для развертывания языковой модели требуется ресурс Foundry.
Перевод текста версии 3 (GA) Перевод текста между поддерживаемыми исходными и целевыми языками в режиме реального времени. Создайте динамический словарь и узнайте, как запретить перевод с помощью API Переводчика Azure.
Асинхронный перевод документов Перевод пакетных и сложных файлов при сохранении структуры и формата исходных документов. Для процесса пакетного перевода требуется учетная запись хранилища BLOB-объектов Azure с контейнерами для исходных и переведенных документов.
Синхронный перевод документов Перевод одного файла документа отдельно или с глоссарийным файлом при сохранении структуры и формата исходного документа. Для процесса перевода файлов не требуется учетная запись хранилища BLOB. Окончательный ответ содержит переведенный документ и возвращается непосредственно вызывающому клиенту.
Пользовательский переводчик Создавайте настраиваемые модели для перевода языка, терминологии и стиля, специфичных как для конкретного домена, так и для отрасли. Создайте словарь фраз или предложений для пользовательских переводов.

Подсказка

Используйте Foundry для задач перевода текста и синхронного документа с помощью интерфейса без кода.

Случаи использования

В следующей таблице приведен список возможных вариантов использования Azure Translator.

Вариант использования Документация
Перевод текста для конкретной отрасли. Пользовательский переводчик
Перевод общего текста, не относящегося к отрасли. Перевод текста

Аналитика документов Azure

Используйте Аналитику документов Azure для автоматизации обработки документов в приложениях и рабочих процессах, улучшения стратегий на основе данных и обогащения возможностей поиска документов.

Использование аналитики документов Azure для этих задач Не используйте Аналитику документов Azure для этих задач
Извлеките определенные поля из известных типов документов, имеющих предварительно созданную модель, например счета, квитанции, W-2s или документы идентификатора. Извлеките поля из пользовательских типов документов, которые не имеют предварительно созданной модели и требуют гибкого, определяемого схемой извлечения. Вместо этого используйте Azure Content Understanding .
Обработайте большие объемы структурированных или полуструктурированных документов, если требуется детерминированное, низкое вариативное извлечение. Создавайте конвейеры RAG, требующие выходных данных, отформатированных в Markdown, которые имеют встроенные рисунки, иерархию разделов и структуру, готовую для разбиения на части. Вместо этого используйте Azure Content Understanding .
Обучайте пользовательские нейронные сети или шаблонные модели на размеченных наборах данных, специально предназначенных для типов документов вашего бизнеса. Требовать оценки достоверности и обоснованности для каждого извлеченного поля, чтобы управлять рабочими процессами проверки с участием человека. Вместо этого используйте Azure Content Understanding .
Определите ключевые структуры, такие как верхние колонтитулы и разрывы глав, в различных коллекциях документов для дальнейшего программного взаимодействия с документом.

Модели анализа документов

Модели анализа документов извлекают текст из форм и документов и возвращают структурированное, готовое к работе содержимое.

Модель Описание
Прочитайте Извлеките печатный и рукописный текст из документов. Используется для оцифровки документов, задач соответствия и аудита, а также обработки рукописных заметок.
Макет Извлечение текста, таблиц и структуры документов. Используется для индексирования документов и получения по структуре и для анализа финансовых и медицинских отчетов.

Предварительно созданные модели документов

Предварительно созданные модели добавляют интеллектуальную обработку документов в приложения и потоки, не обучая и создавая собственные модели.

Модель Описание
Счет-фактура Извлеките сведения о клиенте и поставщике из счетов. Используется для обработки счетов к оплате и автоматизированной записи и отчетности по налогам.
Квитанция Извлеките сведения о транзакциях продаж из квитанций. Используется для управления затратами, анализа данных поведения потребителей и обработки возвращаемых товаров.
Идентичность Извлеките ключевые сведения из паспортов, идентификаторов и лицензий водителя. Используется для соответствия требованиям клиента (KYC), управления медицинскими учетными записями и контрольных точек идентификации.
Карточка медицинского страхования Извлеките ключевые сведения из карт медицинского страхования США, таких как страховщик, член и номер группы. Используется для проверки охвата и соответствия требованиям и анализа на основе ценностей.
контракт Извлеките сведения о соглашении и стороне из контрактов в различных форматах, включая сканированные документы и цифровые PDF-файлы.
Кредитная карта Извлеките ключевые поля из кредитных и дебетовых карт, таких как номер карты, выдача банка и дата окончания срока действия.
Банковская выписка Извлеките информацию об учетной записи и детализацию транзакций из банковских выписок. Используется для обработки налогов, управления учетом и обработки документации по кредитам.
Банковский контроль Извлеките соответствующие сведения из проверок. Используется для управления кредитами и автоматизированного управления кредитором.
Платёжная ведомость Извлечь сведения из расчётного листка. Используется для проверки сведений о заработной плате сотрудников и обнаружения мошенничества.
Свидетельство о браке Извлеките сертифицированные сведения о браке из сертификатов брака США.
Ипотечные документы США Извлеките данные о заявке на кредит из форм 1003, 1004, 1005 и 1008, а также заключительных раскрытий. Используйте в соответствии с требованиями к документации для Fannie Mae и Freddie Mac.
Налоговые документы США Извлеките сведения из вариантов формы налогов W-2, 1098, 1099 и 1040. Используется для автоматического управления налоговыми документами и обработки заявки на ипотечный кредит.

Пользовательские модели

Обучите пользовательские модели, используя помеченные наборы данных для извлечения специфических данных из форм и документов для ваших случаев применения.

Модель Описание
Настраиваемая нейронная сеть Извлеките данные из документов смешанного типа, включая структурированные документы, такие как опросы и анкеты, полуструктурированные документы, такие как счета и заказы на покупку, а также неструктурированные документы, такие как контракты и письма.
Пользовательский шаблон Извлеките помеченные значения и поля из структурированных и полуструктурированных документов с определенными визуальными шаблонами или общими визуальными макетами.
Индивидуально составленный Объедините коллекцию пользовательских моделей для анализа аналогичных типов форм, таких как заказы на покупку.
Настраиваемый классификатор Определите назначенные типы документов или классы перед вызовом модели извлечения. Используйте для пакетов документов для подачи заявки на кредит, содержащих формы заявлений, платежные ведомости и банковские выписки.

Функции расширения

Аналитика документов Azure поддерживает следующие необязательные функции, которые можно включить или отключить в зависимости от сценария извлечения документов:

  • Извлечение высокого разрешения
  • Извлечение формул
  • Извлечение свойств шрифта
  • Извлечение свойств Штрихкода
  • Pdf-файл, доступный для поиска
  • Поля запроса
  • Пары "ключ-значение"

Дополнительные сведения о сценариях модели см. в статье "Выбор модели аналитики документов Azure".

Общие сведения о содержимом Azure

Azure Content Understanding использует генерирующий ИИ для извлечения структурированных полей из документов на основе схемы, определяемой на естественном языке. В отличие от Azure Document Intelligence, которая зависит от предварительно обученных или настраиваемых моделей машинного обучения, связанных с определенными макетами документов, Azure Content Understanding использует генеративные модели для анализа содержимого документов и создания выходных данных в формате JSON, согласованного со схемой, или RAG-ready Markdown. Он также предоставляет оценки достоверенности по каждому полю и обоснование. Используйте эти функции для автоматизации рабочих процессов с помощью целенаправленной проверки человеком.

Использование Azure Content Understanding для этих задач Не используйте Azure Content Understanding для этих задач
Извлеките поля из типов документов, не имеющих предварительно созданной модели аналитики документов Azure, с помощью определений схем, написанных на естественном языке. Извлеките поля из стандартных типов документов с предварительно созданной моделью Azure Document Intelligence. Аналитика документов Azure является более экономичной и детерминированной для этих сценариев.
Создавайте конвейеры RAG, требующие выходных данных Markdown, которые сохраняют макет, заголовки, таблицы, цифры и заметки для индексирования векторов. Обработайте большие объемы простых структурированных документов, когда необходимо свести к минимуму изменчивость и стоимость языковой модели. Вместо этого используйте аналитику документов Azure .
Управление рабочими процессами автоматизации, требующими оценки достоверности для каждого поля и обоснования для маршрутизации записей с низким уровнем достоверности на проверку человеком. Выполняйте задачи языка общего назначения, такие как сводка или анализ тональности. Вместо этого используйте язык Azure или модели .
Классифицируйте типы документов перед их маршрутизацией в соответствующий анализатор в конвейере смешанного документа.

Доступные функции Службы "Распознавание содержимого Azure" для документов

В следующей таблице приведен список функций документов, доступных в Azure Content Understanding.

Функция Описание
Извлечение содержимого Преобразует неструктурированные документы в структурированные, читаемые компьютером данные. Записывает печатный и рукописный текст, метки выделения, штрихкоды, математические формулы, элементы изображения, гиперссылки и заметки. Сохраняет структуру документа, включая абзацы, таблицы, иерархические разделы и элементы фигуры.
Извлечение полей Извлекает структурированные пары "ключ-значение" из документов на основе заданной схемы. Извлеките поля непосредственно из источника, классифицируйте их из предопределенного набора категорий или создайте их с помощью созданной модели. Если включить эту функцию, API Analyze возвращает каждое извлеченное значение поля с оценкой уверенности и привязкой к источнику, чтобы можно было автоматизировать последующие рабочие процессы, например направлять поля с низкой оценкой уверенности на проверку человеком.
Предварительно созданные анализаторы документов Готовые анализаторы для распространенных корпоративных сценариев, включая управление жизненным циклом контракта, приложения для кредитов и ипотеки, финансовые отчеты, управление расходами и сценарии базы знаний.
Выходные данные RAG Создает выходные данные в формате Markdown, которые сохраняют структуру документов для использования в векторных хранилищах и индексах поиска. Поддерживает описания рисунков, анализ макетов и обнаружение аннотаций, чтобы рабочие процессы извлечения могли получить доступ к содержимому, которое не учитывает стандартное разбиение на части.

Случаи использования

В следующей таблице приведен список возможных вариантов использования azure Content Understanding для документов.

Вариант использования Описание
Управление жизненным циклом контракта Извлеките ключевые поля, условия и обязательства из различных типов контрактов без обучения модели, специфической для макета.
Обработка заявок на кредит и ипотеку Автоматизируйте обработку дополнительных вспомогательных документов из разных форматов и шаблонов, которые выходят за рамки поддерживаемых предварительно созданными моделями обработки ипотечной документации Azure Document Intelligence.
Управление затратами Анализ квитанций и счетов от различных розничных торговцев в разных форматах с использованием извлечения, определенного схемой, с оценками достоверности для отметки записей, требующих проверки человеком.
Прием документов RAG Преобразуйте неструктурированные документы в структурированные и доступные для поиска данные с разметкой в формате Markdown, сохраняющей структуру, для использования в конвейерах поиска RAG и рабочих процессах агента.
Классификация и маршрутизация смешанных документов Классифицируйте входящие документы по типам и перенаправлять каждый тип в соответствующий анализатор. Такой подход позволяет выполнять сквозную автоматизацию конвейеров, получающих несколько типов документов.

Модели

Модели предоставляют доступ к каталогу базовых моделей от Майкрософт, OpenAI и других ведущих поставщиков. Эти модели могут выполнять задачи языка общего назначения, такие как создание контента, сводка, перевод и взаимодействие с беседами.

Использование моделей для этих задач Рассмотрите специализированные службы, если вам нужны эти возможности
Создайте творческое содержимое, черновики или варианты текста. Повторяемые и согласованные задачи обработки естественного языка, такие как определение сущностей (NER) или анализ тональности, в условиях масштабирования. Язык Azure предоставляет оптимизированные и экономичные API для этих конкретных задач.
Подведение итогов объемных документов или бесед. Перевод больших объемов документов при сохранении форматирования. Azure Translator оптимизирован для обеспечения качества перевода и сохранения структуры документов.
Создайте интерфейсы ИИ и чат-боты. Структурированное извлечение данных из форм и счетов с высокой точностью. Аналитика документов Azure предоставляет предварительно созданные модели, обученные специально для типов документов.
Ответьте на общие вопросы на основе предоставленного контекста.
Выполняйте неплановые языковые задачи с гибким подходом.

Доступные модели

Модели включают следующие модели ИИ из нескольких поставщиков.

Семейство моделей Описание
GPT-4o и GPT-4o mini Многомодальные модели OpenAI, которые могут обрабатывать как текст, так и изображения, с повышенной точностью и скоростью реагирования на английский текст и задачи программирования.
Серия GPT-4.1 Модели обработки текста и изображений OpenAI с большими окнами контекста (до одного миллиона маркеров) для обработки обширных документов.
Семейство GPT-5 Последние модели флагманского поколения OpenAI с усовершенствованными возможностями рассуждения, многомодальными возможностями и улучшенным следованием инструкциям. Эти модели подходят для сложных многофакторных языковых задач, требующих высокой точности.
o-series (o3, o4-mini) Модели причин OpenAI, предназначенные для сложных задач решения проблем, требующих повышенного фокуса и возможностей в таких областях, как наука, программирование и математика.
Семья Phi-4 Компактные языковые модели (SLM) от Майкрософт оптимизированные для сложных рассуждений. Phi-4 (14B параметров) преуспевает в сценариях с низкой задержкой, в то время как Phi-4-reasoning и Phi-4-mini-reasoning обеспечивают специализированные возможности для многозадачных процессов, требующих меньшего количества ресурсов. Поддерживает более 40 языков.
DeepSeek Модели с открытым доступом к весам, включая DeepSeek-R1 для задач, требующих рассуждений, и серию DeepSeek-V3 для понимания языка общего назначения. Известна высокой производительностью в задачах программирования и математических тестах.
Grok Модели xAI, в том числе Grok-3, Grok-4 и специализированные варианты для решения задач и кодирования. Доступно в конфигурациях быстрого выполнения и невоспроигрывающихся конфигураций.
Лама Открытые модели Meta, в том числе Llama-3.3-70B-Instruct и Llama-4-Maverick для задач языка общего назначения.
Mistral Европейские модели искусственного интеллекта, включая Mistral-Large-3 и mistral-document-ai для сценариев обработки документов.
Модели встраивания Модели из нескольких поставщиков, которые преобразуют текст в числовые векторные формы для упрощения сходства текста и семантического поиска.

Полный список доступных моделей и региональной доступности см. в разделе "Модели", проданные непосредственно в Azure.

Начало работы

Чтобы начать использовать модели для языковых задач, выполните один из следующих подходов:

  • Подход без кода: Используйте игровую площадку чата на портале Foundry для развертывания моделей и тестовых запросов в интерактивном режиме.

  • Подход на основе кода: Используйте пакет SDK Foundry для интеграции моделей в приложения с помощью Python, C#, TypeScript или Java.