Краткое руководство: Понимание разговорного языка

Предварительные условия

• Подписка Azure — создайте бесплатную учетную запись.

Вход в Language Studio

1. Перейдите в Language Studio и войдите в учетную запись Azure.

2. В появившемся окне Выбор языкового ресурса найдите свою подписку Azure и выберите свой языковой ресурс. Если у вас нет ресурса, можно его создать.

   Сведения об экземпляре	Обязательное значение
   Подписка Azure.	Ваша подписка Azure.
   Группа ресурсов Azure	Имя вашей группы ресурсов Azure.
   Имя ресурса Azure	Имя ресурса Azure.
   Расположение	Один из поддерживаемых регионов для языкового ресурса. Например, "Запад США 2".
   Ценовая категория	Одна из допустимых ценовых категорий для ресурса языковых служб. Вы можете использовать уровень "Бесплатный" (F0), чтобы поработать со службой.

   

Создание проекта распознавания устной речи

Выбрав языковой ресурс, создайте проект для понимания разговорного языка. Проект — это рабочая область для создания настраиваемых моделей машинного обучения на основе данных. Получить доступ к вашему проекту можете только вы и другие пользователи, у которых есть доступ к используемому ресурсу службы "Язык".

В этом кратком руководстве вы можете скачать образец файла проекта и импортировать его. Этот проект может предсказать предполагаемые команды из входных данных пользователя, такие как чтение сообщений электронной почты, удаление сообщений электронной почты и вложение документа в сообщение электронной почты.

1. В Language Studio найдите раздел Распознавание вопросов и устной речи и выберите Распознавание устной речи .

   

2. Откроется страница Проекты распознавания устной речи. Рядом с кнопкой "Создать проект " нажмите кнопку "Импорт".

   

3. В появившемся окне отправьте JSON-файл, который требуется импортировать. Убедитесь, что файл соответствует поддерживаемому формату JSON.

После завершения отправки вы получите страницу определения схемы. В этом кратком руководстве схема уже создана, а речевые фрагменты уже помечены намерениями и сущностями.

Обучение модели

Как правило, после создания проекта необходимо создать схему и речевые фрагменты меток. В этом кратком руководстве мы уже импортировали готовый проект со встроенной схемой и помеченными речевыми фрагментами.

Чтобы обучить модель, необходимо запустить задание обучения. Выходные данные успешного задания обучения — это обученная модель.

Чтобы начать обучение вашей модели в Языковой студии, сделайте следующее:

1. Выберите Train model (Обучение модели) в меню слева.

2. В верхнем меню выберите Запустить задание на обучение.

3. Выберите "Обучение новой модели" и введите новое имя модели в текстовом поле. В противном случае для замены существующей модели моделью, обученной на новых данных, выберите "Перезаписать существующую модель " и выберите существующую модель. Перезапись обученной модели необратима, но это не повлияет на развернутые модели до тех пор, пока вы не развернете новую модель.

4. Выберите режим обучения. Вы можете выбрать Стандартное обучение для более быстрого обучения, но оно доступно только на английском языке. Кроме того, можно выбрать Расширенное обучение, которое поддерживается для других языков и многоязычных проектов, но оно предусматривает более длительное время обучения. Узнайте больше о режимах обучения.

5. Выберите метод разделения данных. Вы можете выбрать Автоматическое разделение тестового набора от обучающих данных, при котором система распределит ваши высказывания между обучающим и тестовым наборами в указанных процентах. Кроме того, можно использовать разделение данных обучения и тестирования вручную. Этот вариант доступен только в том случае, если вы добавили речевые фрагменты в набор тестирования во время маркировки речевых фрагментов.

6. Нажмите кнопку Тренировка.

   

7. Выберите идентификатор задания обучения в списке. Откроется панель, где можно проверить ход обучения, состояние задания и другие сведения для этого задания.

   Примечание.

   • Модели будут создаваться только с помощью успешно завершенных заданий обучения.
   • Обучение может занять от нескольких минут до нескольких часов в зависимости от количества речевых фрагментов.
   • В каждый момент времени может выполняться только одно задание на обучение. Вы не сможете запустить другие задания обучения в том же проекте, пока не завершится выполнение задания.
   • Машинное обучение, используемое для обучения моделей, регулярно обновляется. Чтобы обучить с использованием предыдущей версии конфигурации, выберите Изменить конфигурацию на странице Начало задания по обучению и выберите предыдущую версию.

Разверните вашу модель

Как правило, после обучения модели вы изучаете сведения о её оценке. В этом кратком руководстве вы просто развернете модель и предоставите себе к ней доступ в Language Studio. Можно также вызвать API прогнозирования.

Чтобы развернуть модель в Language Studio:

1. В меню слева выберите Развертывание модели.

2. Выберите Добавить развертывание, чтобы запустить мастер Добавить развертывание.

   

3. Выберите Создать новое развертывание, чтобы создать новое развертывание и назначить обученную модель из раскрывающегося списка ниже. В противном случае можно выбрать перезаписать имя существующего развертывания, чтобы эффективно заменить модель, используемую текущим развертыванием.

   Примечание.

   Для перезаписи существующего развертывания не требуется вносить изменения в вызов API прогнозирования, но полученные результаты будут основаны на новой назначенной модели.

   

4. Выберите обученную модель в раскрывающемся списке "Модель ".

5. Выберите "Развернуть" , чтобы запустить задание развертывания.

6. После успешного развертывания рядом с ним появится дата окончания срока действия. Окончание срока действия развертывания означает, что модель становится недоступной для использования в целях прогнозирования, что обычно происходит через двенадцать месяцев после окончания срока действия конфигурации обучения.

Тестирование развернутой модели

Чтобы протестировать развернутые модели в Language Studio, выполните следующие действия.

1. В меню слева выберите Testing deployments (Тестирование развертываний).

2. Для многоязычных проектов в раскрывающемся списке "Выбор текста " выберите язык проверяемого фрагмента.

3. В раскрывающемся списке "Имя развертывания" выберите имя развертывания, соответствующее модели, которую требуется протестировать. Можно тестировать только модели, назначенные развертываниям.

4. В текстовом поле введите речевой фрагмент для проверки. Например, если вы создали приложение для высказываний, связанных с электронной почтой, можно ввести Удалить это письмо.

5. В верхней части страницы выберите "Запустить тест".

6. После выполнения теста вы увидите ответ модели в результате. Вы можете просмотреть результаты в представлении карточек сущностей или просмотреть его в формате JSON.

Очистка ресурсов

Если проект вам больше не нужен, вы можете удалить его с помощью Студии Языка. Выберите "Проекты " в меню навигации слева, выберите проект, который нужно удалить, а затем выберите "Удалить " в верхнем меню.

Предпосылки

• Подписка Azure — создайте бесплатную учетную запись.

Создание ресурса на портале Azure

1. Войдите в портал Azure, чтобы создать новый ресурс языка искусственного интеллекта Azure.

2. Выберите " Создать новый ресурс"

3. В появившемся окне найдите языковая служба.

4. Нажмите кнопку Создать

5. Создайте ресурс "Язык" с приведенными ниже сведениями.

   Сведения об экземпляре	Обязательное значение
   Область/регион	Один из поддерживаемых регионов для языкового ресурса.
   Имя.	Требуемое имя для языкового ресурса
   Ценовая категория	Одна из допустимых ценовых категорий для ресурса "Язык".

Получите ключи и конечную точку вашего ресурса

1. Перейдите на страницу обзора ресурса на портале Azure.

2. В меню слева выберите Ключи и конечная точка. Конечная точка и ключ вам понадобятся для запросов API.

   

Импорт нового примера проекта CLU

Создав языковой ресурс, создайте проект по пониманию разговорного языка. Проект — это рабочая область для создания настраиваемых моделей машинного обучения на основе данных. Получить доступ к вашему проекту можете только вы и другие пользователи, у которых есть доступ к используемому ресурсу службы "Язык".

В этом кратком руководстве можно скачать этот пример проекта и импортировать его. Этот проект может предсказать предполагаемые команды из входных данных пользователя, такие как чтение сообщений электронной почты, удаление сообщений электронной почты и вложение документа в сообщение электронной почты.

Активация задания проекта импорта

Отправьте запрос POST, используя указанный ниже URL-адрес, заголовки и текст JSON, чтобы импортировать проект.

Запросить URL-адрес

При создании запроса API используйте следующий URL-адрес. Замените значения заполнителей собственными значениями.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:import?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Основной текст

Текст JSON, который вы отправляете, аналогичен следующему примеру. Дополнительные сведения об объекте JSON см. в справочной документации .

{
  "projectFileVersion": "{API-VERSION}",
  "stringIndexType": "Utf16CodeUnit",
  "metadata": {
    "projectKind": "Conversation",
    "settings": {
      "confidenceThreshold": 0.7
    },
    "projectName": "{PROJECT-NAME}",
    "multilingual": true,
    "description": "Trying out CLU",
    "language": "{LANGUAGE-CODE}"
  },
  "assets": {
    "projectKind": "Conversation",
    "intents": [
      {
        "category": "intent1"
      },
      {
        "category": "intent2"
      }
    ],
    "entities": [
      {
        "category": "entity1"
      }
    ],
    "utterances": [
      {
        "text": "text1",
        "dataset": "{DATASET}",
        "intent": "intent1",
        "entities": [
          {
            "category": "entity1",
            "offset": 5,
            "length": 5
          }
        ]
      },
      {
        "text": "text2",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "intent": "intent2",
        "entities": []
      }
    ]
  }
}

При успешном запросе ответ API будет содержать заголовок с URL-адресом operation-location , который можно использовать для проверки состояния задания импорта. Форматируется следующим образом:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

Узнать состояние задания импорта

При отправке успешного запроса на импорт проекта полный URL-адрес для проверки состояния задания импорта (включая конечную точку, имя проекта и идентификатор задания) содержится в заголовке ответа operation-location .

Используйте указанный ниже запрос GET, чтобы проверить состояние задания на импорт. Вы можете использовать URL-адрес, полученный на предыдущем шаге, или заменить значения заполнителей собственными значениями.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Текст ответа

После отправки запроса вы получите следующий ответ. Продолжайте опрос этой конечной точки до тех пор, пока значение параметра Состояние не изменится на "Выполнено".

{
  "jobId": "xxxxx-xxxxx-xxxx-xxxxx",
  "createdDateTime": "2022-04-18T15:17:20Z",
  "lastUpdatedDateTime": "2022-04-18T15:17:22Z",
  "expirationDateTime": "2022-04-25T15:17:20Z",
  "status": "succeeded"
}

Начало обучения модели

Как правило, после создания проекта следует создавать схемы и пометить тегами речевые фрагменты. В этом кратком руководстве мы уже импортировали готовый проект со встроенной схемой и помеченными речевыми фрагментами.

Создайте запрос POST, используя указанный ниже URL-адрес, заголовки и текст JSON, чтобы запустить задание обучения.

Запросить URL-адрес

При создании запроса API используйте следующий URL-адрес. Замените значения заполнителей собственными значениями.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Текст запроса

Используйте в запросе следующий объект. Модель будет названа в честь значения, которое вы используете для параметра modelLabel, после завершения обучения.

{
  "modelLabel": "{MODEL-NAME}",
  "trainingMode": "{TRAINING-MODE}",
  "trainingConfigVersion": "{CONFIG-VERSION}",
  "evaluationOptions": {
    "kind": "percentage",
    "testingSplitPercentage": 20,
    "trainingSplitPercentage": 80
  }
}

После отправки запроса API вы получите ответ 202, указывающий на успешное выполнение. Извлеките значение operation-location из заголовков ответа. Оно будет иметь следующий формат:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Этот URL-адрес позволяет получить текущее состояние задания обучения.

Получение состояния задания обучения

Обучение может занять время , иногда от 10 до 30 минут. Следующий запрос можно использовать для регулярного опроса состояния задания обучения, пока оно не будет успешно завершено.

При отправке успешного запроса на обучение полный URL-адрес запроса для проверки состояния задания (включая конечную точку, имя проекта и идентификатор задания) содержится в заголовке ответа operation-location .

Используйте следующий запрос GET, чтобы получить состояние хода обучения модели. Замените значения заполнителей ниже собственными значениями.

Запросить URL-адрес

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Текст ответа

После отправки запроса вы получите следующий ответ. Продолжайте опрос этой конечной точки до тех пор, пока значение параметра Состояние не изменится на "Выполнено".

{
  "result": {
    "modelLabel": "{MODEL-LABEL}",
    "trainingConfigVersion": "{TRAINING-CONFIG-VERSION}",
    "trainingMode": "{TRAINING-MODE}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "xxxxx-xxxxx-xxxx-xxxxx-xxxx",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Разверните свою модель

Обычно после обучения модели вы изучаете её оценочные данные. В этом кратком руководстве вы просто развернете модель и вызовете API прогнозирования для запроса результатов.

Отправка задания развертывания

Создайте запрос PUT, используя следующий URL-адрес, заголовки и текст JSON, чтобы начать развертывание модели распознавания разговорной речи.

Запросить URL-адрес

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Тело запроса

{
  "trainedModelLabel": "{MODEL-NAME}",
}

После отправки запроса API вы получите ответ 202, указывающий на успешное выполнение. Извлеките значение operation-location из заголовков ответа. Оно будет иметь следующий формат:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

Этот URL-адрес можно использовать для получения состояния задания развертывания.

Получение состояния задания развертывания

При отправке успешного запроса развертывания полный URL-адрес запроса для проверки состояния задания (включая конечную точку, имя проекта и идентификатор задания) содержится в заголовке ответа operation-location .

Используйте указанный ниже запрос GET для запроса состояния задания развертывания. Замените значения заполнителей собственными значениями.

Запросить URL-адрес

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/deployments/{DEPLOYMENT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Текст ответа

После отправки запроса вы получите следующий ответ. Продолжайте опрос этой конечной точки до тех пор, пока значение параметра Состояние не изменится на "Выполнено".

{
    "jobId":"{JOB-ID}",
    "createdDateTime":"{CREATED-TIME}",
    "lastUpdatedDateTime":"{UPDATED-TIME}",
    "expirationDateTime":"{EXPIRATION-TIME}",
    "status":"running"
}

Модель запроса

Развернутую модель можно начать использовать для прогнозирования с помощью API прогнозирования.

После успешного завершения развертывания можно начать запрашивать у развернутой модели прогнозы.

Создайте запрос POST, используя следующий URL-адрес, заголовки и текст JSON, чтобы начать развертывание модели распознавания разговорной речи.

Запросить URL-адрес

{ENDPOINT}/language/:analyze-conversations?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

Текст запроса

{
  "kind": "Conversation",
  "analysisInput": {
    "conversationItem": {
      "id": "1",
      "participantId": "1",
      "text": "Text 1"
    }
  },
  "parameters": {
    "projectName": "{PROJECT-NAME}",
    "deploymentName": "{DEPLOYMENT-NAME}",
    "stringIndexType": "TextElement_V8"
  }
}

После отправки запроса вы получите следующий ответ для прогнозирования

Текст ответа

{
  "kind": "ConversationResult",
  "result": {
    "query": "Text1",
    "prediction": {
      "topIntent": "inten1",
      "projectKind": "Conversation",
      "intents": [
        {
          "category": "intent1",
          "confidenceScore": 1
        },
        {
          "category": "intent2",
          "confidenceScore": 0
        },
        {
          "category": "intent3",
          "confidenceScore": 0
        }
      ],
      "entities": [
        {
          "category": "entity1",
          "text": "text1",
          "offset": 29,
          "length": 12,
          "confidenceScore": 1
        }
      ]
    }
  }
}

Ответ API для проекта диалогов

В проекте по работе с диалогами вы получите прогнозы как для намерений, так и для сущностей, присутствующих в проекте.

• К таким намерениям и сущностям относится оценка доверительного уровня между 0,0 и 1,0, связанная с тем, насколько уверенно модель будет прогнозировать определенный элемент в проекте.
• Намерение с наибольшей оценкой содержится в собственном параметре.
• В вашем ответе будут отображаться только предсказанные сущности.
• Объекты указывают:
  • Текст извлеченной сущности
  • Его начальное расположение, обозначаемое значением смещения
  • Длина текста сущности, обозначенная значением длины.

Очистка ресурсов

Если проект вам больше не нужен, вы можете удалить его с помощью интерфейсов API.

Создайте запрос DELETE, используя следующий URL-адрес, заголовки и текст JSON, чтобы удалить проект по распознаванию устной речи.

Запросить URL-адрес

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}?api-version={API-VERSION}

Заголовки

Используйте следующий заголовок для проверки подлинности запроса.

После отправки запроса API вы получите ответ 202, означающий успешное выполнение, что значит, ваш проект был удалён.