Революция в техосмотре автомобилей с EVVIE

Корпоративный модуль проверки транспортных средств (EVVIE) использует ИИ и Microsoft Power Platform для изменения процесса проверки транспортных средств. Автоматизируя проверки, EVVIE экономит время и повышает точность, что делает его бесценным инструментом для организаций, управляющих большими автопарками. В этой статье представлен обзор архитектуры, рабочего процесса и ключевых компонентов EVVIE, а также представление о том, как это инновационное решение может оптимизировать осмотр и техническое обслуживание транспортных средств.

Для демонстрации и получения дополнительной информации об EVVIE посетите aka.ms/EVVIE.

Диаграмма архитектуры

Рабочий процесс

EVVIE использует уникальное сочетание ресурсов Power Platform и Microsoft Azure ресурсов для автоматизации процесса проверки транспортных средств с помощью расширенных моделей ИИ. На высоком уровне внутренний процесс EVVIE выглядит следующим образом:

1. Холстовое приложение Power Apps служит интерфейсом, позволяющим пользователям собирать фотографии повреждений автомобилей в рамках их осмотра. Изображения кодируются в виде строки base64.

2. Приложение использует настраиваемый соединитель для передачи захваченных изображений пользовательскому API, представляющему собой функциональное приложение на Azure на базе .NET.

3. Приложение-функция получает и анализирует вызов HTTP API из приложения, извлекает фотографии и взаимодействует с многомодальной языковой моделью в сервисе Azure OpenAI. Модель просматривает фотографии и классифицирует повреждения по трем полям: часть автомобиля, степень серьезности и общее описание повреждения.

4. Инспекционное приложение получает ответ от функционального приложения и представляет созданную ИИ оценку ущерба пользователю, который может принять, изменить или отклонить оценку. Пользователь завершает оценку и отправляет ее для данного транспортного средства. Оценка надежно хранится в хранилище Dataverse.

5. Приложение с модельно-ориентированным подходом и настраиваемыми страницами позволяет администраторам просматривать данные осмотра транспортных средств.

Components

Microsoft Dataverse: Dataverse сохраняет все данные, собранные в рамках проверок транспортных средств, таких как фотографии повреждения, ранжирования уровня серьезности и описания.

Power Apps: сотрудники на местах, осматривающие транспортные средства, и административные сотрудники, проверяющие результаты проверок, используют приложения, разработанные в Power Apps, платформе Microsoft для разработки приложений без кода или с минимальным количеством кода.

Пользовательский соединитель: пользовательский соединитель позволяет мобильному приложению EVVIE для осмотра транспортных средств (используемому персоналом, проверяющим транспортные средства в полевых условиях) вызывать серверную службу, которая использует передовой искусственный интеллект для оценки предоставленных фотографий.

Функции Azure: Функции Azure, бессерверная вычислительная платформа Microsoft, выступают в качестве веб-API, которое приложение EVVIE может вызывать с помощью HTTP-запроса через пользовательский коннектор. Приложение-функция Azure получает изображения через вызов API, использует расширенную модель ИИ для оценки ущерба и возвращает оценку приложению.

Служба Azure OpenAI: EVVIE использует модель многомодального искусственного интеллекта для оценки ущерба в предоставленных изображениях и классификации его на три поля: уровень серьезности (1-5), область транспортного средства (например, двери, лобовая часть, передний бампер) и описание повреждения. В то время как любая будущая мультимодальная языковая модель может быть использована (то есть "o1" или "o3", как только они станут широко доступны), GPT-4o используется на момент написания этой статьи.

Сведения о сценарии

EVVIE помогает организациям с большими автопарками управлять регулярными проверками и техническим обслуживанием. Плановые проверки отнимают время и отвлекают персонал от более важной работы.

Чтобы облегчить это бремя и сэкономить время, EVVIE использует передовые мультимодальные генеративный ИИ для автоматической оценки и регистрации повреждений транспортных средств. Вместо того, чтобы вручную документировать каждый случай повреждения, сотрудники предоставляют EVVIE фотографию. По этому единственному изображению EVVIE оценивает ущерб, регистрирует его местоположение на транспортном средстве, определяет уровень серьезности и предоставляет краткое описание.

EVVIE было разработано на основе разговоров с департаментом шерифа округа Лос-Анджелес, который управляет парком из тысяч автомобилей. Традиционно, каждый офицер должен был осмотреть свой автомобиль и составить отчет с помощью ручки, бумаги и планшета, прежде чем начать свою смену, задокументировать любые повреждения и предоставить эту информацию своему руководителю. Тем не менее, эта рутинная проверка часто отходила на второй план из-за неотложных обязанностей, оставляя мало времени для громоздкой 20-минутной проверки.

Используя EVVIE, офицеры должны только открыть приложение на своем телефоне и сфотографировать автомобиль. Искусственный интеллект документирует ущерб и сообщает о нем руководителю, устраняя необходимость в бумажных процессах.

Considerations

Эти соображения реализуют основы Power Platform Well-Architected — набора руководящих принципов, повышающих качество рабочей нагрузки. Дополнительные сведения см. в разделе Microsoft Power Platform Well-Architected.

Reliability

Каждый Microsoft облачный компонент в архитектуре EVVIE предназначен для исключительной надежности, обеспечивая согласованность выполнения критически важных целевых показателей времени простоя и восстановления. Такая надежность достигается за счет масштабируемого резервирования, обеспечивающего высокую производительность и отказоустойчивость.

Безопасность

В рамках сборки-прототипа EVVIE веб-API на базе Функций Azure, который взаимодействует с приложением, не предусматривает никаких протоколов безопасности. Любой, кто знает об уникальных конечных точках API (URL), потенциально может получить доступ к серверной службе EVVIE.

В рабочем развертывании важно, чтобы интегратор систем реализовал стандартный уровень проверки подлинности, например проверку подлинности на основе ключей через Azure API Management. Такие меры безопасности гарантируют, что доступ к серверной службе API осуществляется только по назначению клиентского приложения EVVIE.

Операционная эффективность

В качестве доказательства концепции EVVIE создается с нуля с фиктивными требованиями, чтобы продемонстрировать способность технологии оценивать повреждения транспортных средств. Каждый аспект, начиная с процесса проверки и заканчивая критериями, которые оценивает EVVIE — область повреждения, уровень серьезности, описание и конкретные области автомобиля, где можно точно определить повреждения, — может и должен быть настроен в соответствии с уникальными потребностями любой организации, использующей EVVIE.

Например, системный интегратор может:

• Настройте конкретные области автомобиля, где EVVIE может идентифицировать повреждения.
• Уточните системный запрос, используемый для инструктажа модели.
• Реализуйте минимальное количество требований к фотографиям.

Эти модификации гарантируют, что EVVIE работает оптимально и соответствует конкретным потребностям организации.

Эффективность работы

Два потенциальных узких места могут существенно повлиять на масштабируемость EVVIE:

• API на базе Функций Azure: поскольку приложение-функция Azure представляет собой "входную дверь" EVVIE в ИИ-службу для оценки ущерба, важно сделать так, чтобы оно было рассчитано на огромные масштабы. В зависимости от потребления организации развертывание в выделенном плане может быть целесообразно для обеспечения масштабируемости.

• Служба Azure OpenAI: Модель OpenAI Azure, вызываемая приложением-функцией, необходима для оценки и ведения журнала ущерба. Важно убедиться, что развертывание Azure OpenAI, на котором используется внутренний API, всегда работает. Поскольку Azure OpenAI использует токеновую систему, важно гарантировать, что модель, используемая в EVVIE, имеет высокую квоту токенов на заданный период использования.

Оптимизация взаимодействия

Команда, разработавшая EVVIE, потратила много времени и усилий на оптимизацию пользовательского интерфейса и пользовательского опыта, чтобы сделать интуитивно понятным и простым для персонала осмотр транспортных средств и просмотр проверок.

Инспекционное приложение EVVIE представляет собой приложение на основе холста, которое можно легко изменять с помощью простого интерфейса выбора и перетаскивания, аналогичного PowerPoint, что максимально соответствует задачам организации.

Интерфейс, используемый административным персоналом для проверки этих проверок, является приложением на основе модели. Пользовательскую страницу можно легко изменить в соответствии с конкретными требованиями.

Ответственное применение ИИ

Нечувствительный вариант использования: Приложение EVVIE работает в нечувствительном домене, что значительно снижает риск предвзятости отрицательно влияющих на проверки транспортных средств. Учитывая характер оценки повреждений транспортного средства, вероятность того, что предвзятость может повлиять на результаты, минимальна.

Контролируемый генерированный ИИ: Созданные модели искусственного интеллекта, которые используют EVVIE, включают функции, которые ограничивают их оценки в предопределенные шаблоны. Эта конструкция гарантирует, что ИИ предоставляет конкретные, фактические ответы, которые соответствуют рекомендациям разработчика, ограничивают творчество и поддерживают точные, согласованные оценки.

Соавторы

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Основные авторы:

• Тим Ханевич (Tim Hanewich), технический специалист по Power Platform
• Келли Кейсон (Kelly Cason), технический специалист по бизнес-приложениям

Дальнейшие действия

Для демонстрационных видеороликов дополнительные сведения о функциональных возможностях, архитектуре, исходном коде и т. д. см. в GitHub по адресу aka.ms/EVVIE.