Interacciones multimodales para diseño 3D UX – Swevens – Medium

1 iCNm_9zibdGkrljxnwhnsw.png

ladrillovisualvr

Este artículo tiene como objetivo desarrollar el enfoque de pensamiento hacia cualquier experiencia inmersiva (es decir, Realidad Aumentada, Realidad Virtual o Realidad Mixta) que esté planeando desarrollar. Los principios de diseño que cubriré aquí deberían resultar útiles al desarrollar cualquier experiencia inmersiva.

PD: usaré el término XR principalmente en el artículo. XR es la categoría general que cubre todas las diversas formas de realidad alterada por computadora, incluida la Realidad Aumentada (AR), la Realidad Mixta (MR) y la Realidad Virtual (VR).

Interacciones multimodales

En el momento en que uno piensa en desarrollar cualquier experiencia en XR, uno de los cinco sentidos del desarrollador se activa primero, es decir visión. Sin duda es el aspecto más importante, pero sobrecargar un sistema sensorial es una mala idea. Los usuarios tienden a desempeñarse mejor con la interfaz de usuario multisensorial, es decir, el habla, la mirada y los gestos podrían ser una buena combinación. Estos brindan una conexión bastante buena con el tipo de interacción que los usuarios desean al interactuar con objetos en el mundo virtual. La idea es hacer una experiencia intuitiva. Es bueno que XR sea multimodal por naturaleza, lo que lo hace tan atractivo. Analicemos algunos principios comunes que se están incorporando en el desarrollo de experiencias inmersivas.

Los 3 mecanismos de entrada que cubrirá este artículo son los siguientes:

  • Mirada
  • gestos
  • Comandos de voz
  • controlador de 6 grados de libertad (más sobre esto más tarde)
  • Guantes e interacción directa ej. Movimiento de salto(más sobre esto más tarde)

Los diversos mecanismos de retroalimentación son los siguientes:

  • Comentarios visuales
  • Comentarios de audio
  • Retroalimentación háptica (relacionado con los controladores de 6 dof y la vibración del teléfono. No cubierto en este artículo)

Mirada

Gaze es una interfaz de usuario muy poderosa. Simplemente comience a mirar a cualquier persona al azar por mucho tiempo. Hay varios resultados que pueden suceder:

  • La persona podría simplemente ignorar y alejarse.
  • La persona puede sentir curiosidad y venir hacia ti.
  • La persona puede comenzar o dejar de hacer una acción.

Estos resultados, si se incorporan a su experiencia, podrían resultar beneficiosos en términos de crear una interfaz convincente para su usuario. De este modo, cerrar la brecha entre el mundo real y el virtual. Sin embargo, la mirada es bien conocida por sus capacidades similares a las de un cursor en el mundo de las experiencias inmersivas. A continuación se muestra una de las demostraciones de muestra del oficial Repositorio de realidad virtual de Google

1 Rx674sd6w0Cdp1Itj_mS6g.png

El punto blanco es el cursor.

1 mWfl8h8mOXHAOwdqHbuvdw.png

Mire un objeto y se resaltará. Además, el cursor se expande.

Esta experiencia en particular le brinda al usuario información visual de que hay un objeto con el que interactuar y que el elemento está activo. Algunas pautas de Gaze:

  • Un objeto de interés en el entorno que está mirando debe mantenerse a una distancia mínima de 0,5 m, según lo recomendado por óculo. 1 metro es una distancia cómoda para los menús y las GUI en las que los usuarios pueden concentrarse durante largos períodos de tiempo.
  • El ángulo de mirada óptimo es de 10 a 20 grados por debajo del horizonte porque el usuario generalmente tiende a inclinar la cabeza un poco hacia abajo durante las experiencias.
  • Mantener el sujeto enfocado. Si el usuario pierde el rastro del tema, es trabajo del desarrollador hacer retroceder su mirada hacia el tema proporcionando señales de audio o señales visuales. Revisar la Aplicación Google ARCore Elements que da pistas sutiles y esta sección de las Directrices oficiales de diseño de Realidad Aumentada de Google.

¿Quieres profundizar en las pautas de la mirada? Consulte las pautas de diseño de Microsoft

gestos

Los gestos sirven como una técnica simple para que los usuarios interactúen con objetos virtuales en la realidad mixta. La idea detrás de este mecanismo de entrada es que los usuarios tienden a mover mucho las manos mientras participan en una experiencia inmersiva. Simplemente sucede de manera intuitiva y, por lo tanto, hay varios gestos significativos que se están incorporando, como el famoso gesto de “toque de aire” para Hololens (imagen a continuación)

1 De-zxkGuU9mGM-M0Vzi3g.jpeg

El gesto Air Tap para seleccionar/deseleccionar objetos en Hololens

Una cosa a tener en cuenta al integrar un gesto es el fatiga del brazo del usuario La entrada repetida de gestos es agotadora para el usuario. ¡Dale un respiro al usuario! No, en serio, incorporar descansos breves u ofrecer una combinación de entradas de voz y gestos podría contribuir en gran medida a aumentar la participación del usuario en su aplicación.

1 jm85EmmqEelUFDRw2atW8g.jpeg

¡Deja de hacerme tocar el aire todo el tiempo!

Algunas pautas de gestos:

  • Levantar el brazo tan alto que el codo no esté en contacto con el usuario puede resultar agotador.
  • Las personas pierden la noción de su entorno físico en el mundo real y los malos gestos con las manos pueden hacer que golpeen una pared y eventualmente se vean involucrados en un accidente grave.
  • Las manos que visualmente se ven realistas pueden ser espeluznantes porque le dan al usuario la sensación de estar dentro del cuerpo de otra persona. Por lo tanto rompiendo la inmersión

Voz

La interacción de voz (habla) puede agregar eficiencia a la experiencia. Voice UI en XR es tan simple como: verlo, decirlo. Esto significa que si está mirando un objeto y quiere interactuar con ese objeto, da los comandos de voz al instante. Por ejemplo) Mirar a un perro, decir “saltar” y salta. No dirás “salto de perro seleccionado”. Mantener las IU de voz simples con frases cortas es un aspecto clave de los principios de diseño de la IU de voz.

La voz puede ser imperfecta de muchas maneras. Por ejemplo, si desea que aumente el volumen del altavoz, diga “más alto”, pero no puede decir “un poco más alto” porque es difícil de cuantificar. A veces, un sistema de voz escucha incorrectamente un comando o no escucha un comando. Recuperarse de tales errores es un desafío en cualquier interfaz. Además, la voz puede no ser socialmente aceptable en lugares públicos.

1 ZRZWiHbudiZfTC5gSClyOg.jpeg

Fuente: Documentos de Microsoft

Algunas pautas de voz:

  • Proporcione a los usuarios una salida de registro adecuada de su voz mientras participan en la experiencia. Se llama registro de entrada del usuario. Mira este video
  • Use un vocabulario simple en sus comandos de voz.
  • Asegúrese de que haya una manera de deshacer el comando de voz para evitar cualquier acción no deseada debido a que otra persona hable.
  • Prueba tu aplicación con diferentes acentos.

Conclusión

Las pautas cubiertas en este artículo son solo un tema de los diversos principios de diseño de UX que se pueden aplicar a este nuevo y emocionante campo. ¡Pronto publicaremos más artículos!

Recursos adicionales

“Desde un fondo de diseño de productos tradicional, donde la mayoría de las interacciones tienen muchos patrones establecidos y probados, la forma más efectiva que he encontrado hasta ahora para progresar y aprender en realidad virtual es a través de prueba y error”.

  • Christophe Tauziet, equipo de realidad virtual social de Facebook

Similar Posts

Leave a Reply

Your email address will not be published.