Установка и запуск контейнеров Docker для LUIS

Контейнеры позволяют использовать LUIS в собственной среде. Контейнеры соответствуют конкретным требованиям к безопасности и управлению данными. В этой статье вы узнаете, как скачать, установить и запустить контейнер LUIS.

Контейнер распознавания речи (LUIS) загружает обученную или опубликованную модель распознавания речи. В качестве приложения LUIS контейнер Docker предоставляет доступ к прогнозам запросов из конечных точек API контейнера. Вы можете собирать журналы запросов из контейнера и отправлять их обратно в приложение распознавания речи, чтобы повысить точность прогнозирования приложения.

В следующем видео показано использование этого контейнера.

Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.

Предпосылки

Чтобы запустить контейнер LUIS, обратите внимание на следующие предварительные требования:

• Docker, установленный на главном компьютере. Docker нужно настроить таким образом, чтобы контейнеры могли подключать и отправлять данные о выставлении счетов в Azure.
  • В Windows для поддержки контейнеров Linux также должен быть настроен Docker.
  • Необходимо иметь базовое понимание основных понятий Docker.
• с бесплатным уровнем цен (F0) или уровнем цен "Стандартный" (S).
• Обученное или опубликованное приложение, упакованное в виде подключенного входного элемента в контейнер с соответствующим идентификатором приложения. Вы можете получить упакованный файл с портала LUIS или API разработки. Если вы получаете упакованое приложение LUIS из API разработки, вам также потребуется ключ разработки.

Сбор обязательных параметров

Требуются три основных параметра для всех контейнеров ИИ Azure. Для условий лицензионного соглашения на использование программного обеспечения корпорации Майкрософт должно быть задано значение accept. Также требуются URI конечной точки и ключ API.

URI конечной точки

Значение {ENDPOINT_URI} доступно на странице Обзор портала Azure соответствующего ресурса службы Azure AI. Перейдите на страницу обзора, наведите указатель мыши на конечную точку и появится значок копирования в буфер обмена. Скопируйте и используйте конечную точку по мере необходимости.

Ключи

Значение {API_KEY} используется для запуска контейнера и доступно на странице Ключи портала Azure, соответствующей ресурсу служб ИИ Azure. Перейдите на страницу "Ключи" и выберите иконку "Копировать в буфер обмена".

Идентификатор приложения {APP_ID}

Этот идентификатор используется для выбора приложения. Идентификатор приложения можно найти на портале LUIS , нажав кнопку "Управление " в верхней части экрана приложения, а затем "Параметры".

Ключ авторства {AUTHORING_KEY}

Этот ключ используется для получения упаковаемого приложения из службы LUIS в облаке и отправки журналов запросов обратно в облако. Вам потребуется ключ разработки, если вы экспортируете приложение с помощью REST API, описанного далее в статье.

Вы можете получить ключ разработки на портале LUIS , нажав кнопку "Управление " в верхней части экрана приложения, а затем "Ресурсы Azure".

Создание API-интерфейсов для файла пакета

Создание API для упакованных приложений:

• API опубликованного пакета
• Неопубликованный API пакета, только для обученных

Хост-компьютер

Хост — это 64-разрядная система, на которой запускается контейнер Docker. Это может быть компьютер в локальной среде или служба размещения Docker в Azure, включая следующие решения:

• Служба Azure Kubernetes.
• Контейнерные экземпляры Azure.
• Кластер Kubernetes, развернутый в Azure Stack. Дополнительные сведения см. в статье Развертывание Kubernetes в Azure Stack.

Требования к контейнеру и рекомендации

В таблице ниже перечислены минимальные и рекомендуемые значения для контейнерного хоста. Требования могут изменяться в зависимости от объема трафика.

• Частота каждого ядра должна быть минимум 2,6 ГГц.
• TPS — транзакции в секунду

Ядро и память соответствуют параметрам --cpus и --memory, которые используются как часть команды docker run.

Получение образа контейнера с помощью docker pull

Образ контейнера LUIS можно найти в mcr.microsoft.com синдикате реестра контейнеров. Он находится в репозитории azure-cognitive-services/language и называется luis. Полностью квалифицированное имя образа контейнера — mcr.microsoft.com/azure-cognitive-services/language/luis.

Чтобы использовать последнюю версию контейнера, можно использовать latest тег. Полный список тегов также представлен в MCR.

docker pull Используйте команду, чтобы скачать образ контейнера из mcr.microsoft.com/azure-cognitive-services/language/luis репозитория:

docker pull mcr.microsoft.com/azure-cognitive-services/language/luis:latest

Полное описание доступных тегов, например latest используемых в предыдущей команде, см. в разделе LUIS в Docker Hub.

docker images --format "table {{.ID}}\t{{.Repository}}\t{{.Tag}}"

IMAGE ID         REPOSITORY                TAG
<image-id>       <repository-path/name>    <tag-name>

Использование контейнера

После размещения контейнера на главном компьютере воспользуйтесь следующей процедурой для работы с ним.

1. Экспорт пакета для контейнера с портала LUIS или API LUIS.
2. Переместите файл пакета в необходимый входной каталог на хост-компьютере. Не переименовывать, изменять, перезаписывать или распаковывать файл пакета LUIS.
3. Запустите контейнер с необходимыми параметрами подключения входных данных и выставления счетов. Доступны дополнительные примеры команды docker run.
4. Запрос конечной точки прогнозирования контейнера.
5. После завершения работы с контейнером импортируйте журналы конечных точек из выходного подключения на портале LUIS и остановите контейнер.
6. Используйте активное обучение на портале LUIS на странице речевых фрагментов конечной точки проверки , чтобы улучшить приложение.

Приложение, работающее в контейнере, не может быть изменено. Чтобы изменить приложение в контейнере, необходимо изменить приложение в службе LUIS с помощью портала LUIS или использовать API разработкиLUIS. Затем обучите и/или опубликуйте, после чего скачайте новый пакет и снова запустите контейнер.

Приложение LUIS внутри контейнера не может быть экспортировано обратно в службу LUIS. Можно отправить только журналы запросов.

Экспорт упаковаемого приложения из LUIS

Контейнер LUIS требует обученного или опубликованного приложения LUIS для ответа на запросы на прогнозирование выражений пользователя. Чтобы получить приложение LUIS, используйте обученный или опубликованный API пакета.

Расположение по умолчанию — это input подкаталог по отношению к тому, где выполняется docker run команда.

Поместите файл пакета в каталог и наведите ссылку на этот каталог в качестве входного подключения при запуске контейнера Docker.

Типы пакетов

Каталог точки монтирования может одновременно содержать производственные, промежуточные и версированные модели приложения. Все пакеты смонтированы.

Предварительные требования для упаковки

Перед упаковкой приложения LUIS необходимо иметь следующее:

Экспорт пакета приложения с портала LUIS

Портал Azure LUIS предоставляет возможность экспортировать обученный или опубликованный пакет приложения.

Экспорт пакета опубликованного приложения с портала LUIS

Пакет опубликованного приложения доступен на странице списка "Мои приложения ".

1. Войдите на портал Azure LUIS.
2. Установите флажок слева от имени приложения в списке.
3. Выберите элемент экспорта на контекстной панели инструментов над списком.
4. Выберите "Экспорт в контейнер формате GZIP".
5. Выберите среду продуктивного слота или тестового слота.
6. Пакет скачан из браузера.

Экспорт пакета версионированного приложения из портала LUIS

Пакет приложения с версиями доступен на странице списка версий .

1. Войдите на портал Azure LUIS.
2. Выберите приложение в списке.
3. Выберите "Управление" на панели навигации приложения.
4. Выберите версии в левой области.
5. Установите флажок слева от имени версии в списке.
6. Выберите элемент экспорта на контекстной панели инструментов над списком.
7. Выберите "Экспорт в контейнер формате GZIP".
8. Пакет скачан из браузера.

Экспорт пакета опубликованного приложения из API

Используйте следующий метод REST API, чтобы упаковать приложение LUIS, которое вы уже опубликовали. Подставляя собственные соответствующие значения заполнителей в вызове API, используя таблицу ниже спецификации HTTP.

GET /luis/api/v2.0/package/{APP_ID}/slot/{SLOT_NAME}/gzip HTTP/1.1
Host: {AZURE_REGION}.api.cognitive.microsoft.com
Ocp-Apim-Subscription-Key: {AUTHORING_KEY}

Чтобы скачать опубликованный пакет, ознакомьтесь с документацией по API. При успешном скачивании ответ представляет собой файл пакета LUIS. Сохраните файл в расположении хранилища, указанном для входного подключения контейнера.

Экспорт пакета версии приложения через API

Используйте следующий метод REST API, чтобы упаковать приложение LUIS, которое вы уже обучили. Подставляя собственные соответствующие значения заполнителей в вызове API, используя таблицу ниже спецификации HTTP.

GET /luis/api/v2.0/package/{APP_ID}/versions/{APP_VERSION}/gzip HTTP/1.1
Host: {AZURE_REGION}.api.cognitive.microsoft.com
Ocp-Apim-Subscription-Key: {AUTHORING_KEY}

Для загрузки пакетной версии ознакомьтесь с документацией по API. При успешном скачивании ответ представляет собой файл пакета LUIS. Сохраните файл в расположении хранилища, указанном для входного подключения контейнера.

Запуск контейнера с помощью команды docker run

Воспользуйтесь командой docker run для запуска контейнера. Дополнительные сведения о том, как получить значения и {ENDPOINT_URI}, см. в разделе {API_KEY}.

Имеются примеры команды docker run.

docker run --rm -it -p 5000:5000 ^
--memory 4g ^
--cpus 2 ^
--mount type=bind,src=c:\input,target=/input ^
--mount type=bind,src=c:\output\,target=/output ^
mcr.microsoft.com/azure-cognitive-services/language/luis ^
Eula=accept ^
Billing={ENDPOINT_URI} ^
ApiKey={API_KEY}

• В этом примере используется каталог на диске C:, чтобы избежать конфликтов разрешений в Windows. Если вам нужно использовать определенный каталог в качестве входного каталога, может потребоваться предоставить разрешение службы Docker.
• Не изменяйте порядок аргументов, если вы не знакомы с контейнерами Docker.
• Если вы используете другую операционную систему, используйте правильную консоль/терминал, синтаксис папок для монтирования и символ продолжения строки для вашей системы. В примерах предполагается наличие консоли Windows с символом продолжения строки ^. Так как контейнер является операционной системой Linux, целевое подключение использует синтаксис папки в формате Linux.

Эта команда:

• Запуск контейнера из образа контейнера LUIS
• Загружает приложение LUIS из входного подключения в C:\input, расположенного на узле контейнера
• Выделяет два ядра ЦП и 4 гигабайта памяти
• Открывает порт TCP 5000 и выделяет псевдо-TTY для контейнера.
• Сохраняет журналы контейнеров и LUIS для вывода в папку C:\output, расположенную на узле контейнера.
• автоматически удаляет контейнер после выхода. Образ контейнера остается доступным на главном компьютере.

Доступны дополнительные примеры команды docker run.

Запуск нескольких контейнеров на одном узле

Если вы планируете запускать несколько контейнеров с открытыми портами, обязательно назначьте каждому контейнеру отдельный разный открытый порт. Например, запускайте первый контейнер на порте 5000, а второй — на порте 5001.

Вы можете использовать этот контейнер и другой контейнер служб ИИ Azure, работающие одновременно на одном узле HOST. Кроме того, можно использовать несколько контейнеров одного и того же контейнера служб искусственного интеллекта Azure.

API конечных точек, поддерживаемые контейнером

В контейнере доступны обе версии API версии 2 и версии 3.

Отправить запрос к конечной точке прогнозирования контейнера

Контейнер предоставляет API на основе REST для конечных точек прогнозирования запросов. Конечные точки для опубликованных (промежуточных или рабочих) приложений имеют другой маршрут, отличный от конечных точек для версий приложений.

Используйте хост http://localhost:5000 для API контейнера.

Параметры запроса настраивают способ и то, что возвращается в ответе запроса:

Запросите данные из приложения LUIS

Пример команды CURL для запроса контейнера для опубликованного приложения:

curl -G \
-d verbose=false \
-d log=true \
--data-urlencode "query=turn the lights on" \
"http://localhost:5000/luis/v3.0/apps/{APP_ID}/slots/production/predict"

curl -G \
-d verbose=false \
-d log=false \
--data-urlencode "query=turn the lights on" \
"http://localhost:5000/luis/v3.0/apps/{APP_ID}/versions/{APP_VERSION}/predict"

curl -X GET \
"http://localhost:5000/luis/v2.0/apps/{APP_ID}?q=turn%20on%20the%20lights&staging=false&timezoneOffset=0&verbose=false&log=true" \
-H "accept: application/json"

curl -X GET \
"http://localhost:5000/luis/v2.0/apps/{APP_ID}/versions/{APP_VERSION}?q=turn%20on%20the%20lights&timezoneOffset=0&verbose=false&log=true" \
-H "accept: application/json"

Импорт журналов конечных точек для активного обучения

Если для контейнера LUIS задано выходное подключение, файлы журнала запросов приложений сохраняются в выходном каталоге, где {INSTANCE_ID} находится идентификатор контейнера. Журнал запросов приложения содержит метки запросов, ответа и времени для каждого прогнозирующего запроса, отправленного в контейнер LUIS.

В следующем местоположении показана иерархическая структура каталогов для журнальных файлов контейнера.

/output/luis/{INSTANCE_ID}/

На портале LUIS выберите приложение, а затем выберите "Импортировать журналы конечных точек ", чтобы отправить эти журналы.

После отправки журнала просмотрите речевые фрагменты конечной точки на портале LUIS.

Убедитесь, что контейнер работает

Существует несколько способов убедиться, что контейнер работает. Найдите адрес Внешний IP-адрес и открытый порт для данного контейнера и откройте ваш любимый веб-браузер. Используйте приведенные ниже URL-адреса запросов, чтобы убедиться, что контейнер работает. В примерах в качестве URL-адресов запросов используется значение http://localhost:5000, однако ваш конкретный контейнер может иметь отличия. Убедитесь, что вы полагаетесь на внешний IP-адрес и открытый порт вашего контейнера.

Запуск контейнера, отключенного от Интернета

Чтобы использовать этот контейнер, отключенный от Интернета, необходимо сначала запросить доступ, заполнив приложение и приобретя план обязательств. Дополнительные сведения см. в разделе "Использование контейнеров Docker в отключенных средах ".

Если вы получили разрешение на запуск отключенного от Интернета контейнера, в следующем примере вы можете увидеть форматирование используемой команды docker run со значениями заполнителей. Замените значения-заполнители собственными значениями.

Параметр DownloadLicense=True в docker run команде скачит файл лицензии, который позволит запустить контейнер Docker, если он не подключен к Интернету. Он также содержит дату окончания срока действия, после которой файл лицензии станет недопустимым для запуска контейнера. Вы можете использовать файл лицензии только с тем контейнером, для которого получено утверждение. Например, нельзя использовать файл лицензии для контейнера преобразования речи в текст с контейнером интеллектуальной обработки документов.

docker run --rm -it -p 5000:5000 \ 
-v {LICENSE_MOUNT} \
{IMAGE} \
eula=accept \
billing={ENDPOINT_URI} \
apikey={API_KEY} \
DownloadLicense=True \
Mounts:License={CONTAINER_LICENSE_DIRECTORY} 

После скачивания файла лицензии можно запустить контейнер в среде без подключения к Интернету. В следующем примере показано форматирование команды docker run, которую вы используете, со значениями-заполнителями. Замените значения-заполнители собственными значениями.

Независимо от того, где выполняется контейнер, файл лицензии должен быть подключен к контейнеру, а расположение папки лицензии в локальной файловой системе контейнера необходимо указать с помощью Mounts:License=. Кроме того, необходимо указать выходное подключение, чтобы можно было записывать сведения об использовании для выставления счетов.

docker run --rm -it -p 5000:5000 --memory {MEMORY_SIZE} --cpus {NUMBER_CPUS} \ 
-v {LICENSE_MOUNT} \ 
-v {OUTPUT_PATH} \
{IMAGE} \
eula=accept \
Mounts:License={CONTAINER_LICENSE_DIRECTORY}
Mounts:Output={CONTAINER_OUTPUT_DIRECTORY}

Остановка контейнера

Чтобы завершить работу контейнера, в среде командной строки, в которой запущен контейнер, нажмите клавиши CTRL+C.

Устранение неполадок

Если контейнер запускается с выходным подключением и включенным ведением журнала, контейнер создает файлы журнала, которые удобно использовать для устранения неполадок, возникающих во время запуска или работы контейнера.

Если у вас возникли проблемы с запуском контейнера служб искусственного интеллекта Azure, рекомендуется попробовать использовать контейнер диагностики Microsoft. Используйте этот контейнер для диагностики распространенных ошибок в среде развертывания, которые могут предотвратить работу контейнеров ИИ Azure должным образом.

Чтобы получить контейнер, используйте следующую команду docker pull:

docker pull mcr.microsoft.com/azure-cognitive-services/diagnostic

Затем запустите контейнер. Замените {ENDPOINT_URI} на вашу конечную точку, а {API_KEY} на ваш ключ для доступа к ресурсу.

docker run --rm mcr.microsoft.com/azure-cognitive-services/diagnostic \
eula=accept \
Billing={ENDPOINT_URI} \
ApiKey={API_KEY}

Контейнер проверит сетевое подключение к конечной точке выставления счетов.

Выставление счетов

Контейнер LUIS отправляет сведения о выставлении счетов в Azure с помощью ресурса служб искусственного интеллекта Azure в вашей учетной записи Azure.

Запросы к контейнеру оплачиваются согласно ценовой категории ресурса Azure, используемого для параметра ApiKey.

Контейнеры служб искусственного интеллекта Azure не лицензируются для запуска без подключения к конечной точке измерения или выставления счетов. Вам необходимо обеспечить возможность контейнерам передавать данные для выставления счетов с конечной точкой выставления счетов в любое время. Контейнеры служб искусственного интеллекта Azure не отправляют данные клиентов, такие как изображение или текст, которые анализируются, в корпорацию Майкрософт.

Подключение к Azure

Для запуска контейнера необходимо указать значения аргументов, касающихся выставления счетов. Эти значения обеспечивают подключение контейнера к конечной точке выставления счетов. Контейнер сообщает об использовании примерно каждые 10–15 минут. Если контейнер не подключится к Azure в течение допустимого периода времени, контейнер будет продолжать работать, но не будет обслуживать запросы, пока не будет восстановлена конечная точка выставления счетов. Попытки подключения выполняются 10 раз на протяжении одинакового интервала времени (10–15 минут). Если контейнеру не удается подключиться к конечной точке выставления счетов в течение 10 попыток, он прекращает обработку запросов. См. раздел часто задаваемых вопросов о контейнерах служб искусственного интеллекта Azure для примера информации, отправляемой Microsoft для выставления счетов.

Аргументы для выставления счетов

Команда docker run запустит контейнер, когда все три из следующих параметров предоставляются допустимыми значениями:

Дополнительные сведения об этих параметрах см. в статье Настройка контейнеров.

Сводка

В этой статье вы узнали основные понятия и рабочий процесс для скачивания, установки и запуска контейнеров распознавания речи (LUIS). Сводка:

• Понимание языка (LUIS) предоставляет контейнер Linux для Docker, который обеспечивает прогнозирование запросов конечной точки на основе высказываний.
• Образы контейнеров скачиваются из Реестра контейнеров Майкрософт (MCR).
• Образы контейнеров выполняются в Docker.
• REST API можно использовать для запроса конечных точек контейнера, указав URI узла контейнера.
• При инициализации контейнера нужно указать платежную информацию.

Дальнейшие действия

• Ознакомьтесь с разделом "Настройка контейнеров " для параметров конфигурации.
• Ознакомьтесь с ограничениями контейнера LUIS для известных ограничений возможностей.
• Ознакомьтесь со статьей об устранение неполадок, чтобы устранить проблемы, связанные с функциональностью LUIS.
• Использование дополнительных контейнеров ИИ Azure