Модели взаимодействия
Набор средств смешанной реальности позволяет потреблять входные данные из различных источников, таких как контроллеры, артикулированные руки или речь. Выбор модели взаимодействия, которая лучше всего подходит для вашего интерфейса смешанной реальности, требует определить пользователя и их цели и рассмотреть любые ситуационные или экологические факторы, которые могут повлиять на их опыт. Здесь вы узнаете о трех основных моделях взаимодействия для взаимодействия с смешанной реальностью и о том, как имитировать входные данные в Unity.
Модели взаимодействия
Существует три основных модели взаимодействия, которые подходят большинству опытов смешанной реальности.
| Модель | Примеры сценариев | Подходящий |
|---|---|---|
| Руки и контроллеры движения | Трехмерные пространственные интерфейсы, такие как пространственный макет и проектирование, манипуляция с содержимым или имитация. | Отлично подходит для новых пользователей и совместимо с управлением голосом, отслеживанием глаз или управлением взглядом головы. Низкая кривая обучения. Согласованный интерфейс взаимодействия с отслеживанием рук и контроллерами 6DoF. |
| без помощи рук | Контекстные интерфейсы, в которых заняты руки пользователя, такие как обучение и обслуживание по заданию. | Требуется некоторое обучение. Если руки недоступны, устройство хорошо связывается с голосом и естественным языком. |
| Вгляд и принятие решения | Взаимодействие с щелчком мыши; например, трехмерные презентации или демонстрации. | Требуется обучение на подключенных к голове устройствах, но не на мобильных устройствах. Лучше всего подходит для доступных контроллеров. |
Хотя вы можете объединить части нескольких моделей взаимодействия в интерфейс смешанной реальности, помните, что это создает риск конкурирующих входных данных пользователей, таких как одновременные лучи руки и курсор взгляда головы. Это может перегружать и запутать пользователей.
Если для работы требуется несколько моделей взаимодействия, помните, что многие пользователи могут столкнуться с трудностями при переходе из одной модели в другую, особенно пользователей, которые не знакомы с смешанной реальностью.
Модель управления руками и движением
Модель управления руками и движениями требует от пользователей использовать одну или две руки для взаимодействия с голографическим миром. Эта модель удаляет границу между виртуальной и физической.
К некоторым конкретным сценариям относятся:
- Предоставление работникам информационной сферы 2D виртуальных экранов с элементами пользовательского интерфейса для отображения и управления содержимым.
- Предоставление рабочим первой линии учебных материалов и руководств для производственных линий сборки
- Разработка профессиональных инструментов для оказания помощи и образования медицинских специалистов
- Использование трехмерных виртуальных объектов для декорирования реального мира или создания другого мира
- Создание служб и игр на основе расположения с использованием реального мира в качестве фона
Существует три модальности: руки и контроллеры движения.
- Прямая манипуляция с руками
- Ориентируйтесь и подтверждайте руками
- Контроллеры движения
Модель без использования рук
Модель без рук позволяет пользователям взаимодействовать с голографическим содержимым без использования рук. Этот подход лучше всего использовать, если пользователю может потребоваться использовать свои руки для достижения своих реальных целей, и у вас возникнут трудности с взаимодействием с интерфейсом на основе рук и контроллеров.
К некоторым конкретным сценариям относятся:
- Руководство по задаче в то время как руки пользователя заняты
- Ссылки на материалы, в то время как руки пользователя заняты
- Усталость рук
- Перчатки, которые нельзя отслеживать
- Нести что-то в руках
- Социальная неловкость делать большие жесты руки
- Узкие пространства
Существует два режима работы без рук:
- Голосовой ввод
- Взгляд и Остановка
Вгляд и принятие решения
Модель "взгляд и подтверждение" тесно связана с тем, как мы взаимодействуем с компьютерами, используя мышь для указания и щелчка. Модель "взгляд и фиксация" считается моделью дистанционного ввода с косвенной манипуляцией. Поэтому лучше всего использовать взгляд и фиксацию при взаимодействии с голографическим содержимым, которое выходит за пределы досягаемости. Существует два типа ввода взгляда (взгляд головы и глазной взгляд) и различные действия подтверждения.
После того как пользователь использует взгляд для целевого объекта или элемента пользовательского интерфейса, пользователь может взаимодействовать с ним или выбирать его с помощью дополнительного ввода. Это называется этапом фиксации входной модели. Методы фиксации включают голосовые команды, нажатие кнопки или жест рукой.
Моделирование входных данных в редакторе Unity
Моделирование входных данных в редакторе Unity позволяет проверять поведение голографических объектов при использовании взаимодействия с рукой или глазом.
Как перемещаться по сцене:
- Используйте клавиши W/A/S/D для перемещения камеры вперед, слева или вправо.
- Используйте клавиши Q/E для перемещения камеры по вертикали.
- Нажмите и удерживайте правой кнопкой мыши, чтобы повернуть камеру.
Как имитировать ввод с руки:
- Нажмите и удерживайте пробела, чтобы включить правую руку.
- Удерживая пробел, переместите мышь, чтобы переместить руку.
- Используйте колесико прокрутки мыши для настройки глубины руки.
- Нажмите левую кнопку мыши, чтобы имитировать жест сжатия.
- Используйте ключи T/Y, чтобы сделать руку постоянной в представлении.
- Удерживайте клавишу CTRL и переместите мышь, чтобы повернуть руку.
- Нажмите и удерживайте клавишу SHIFT влево , чтобы включить левую руку.