Seguimiento del cuerpo de las cámaras del controlador VR

Los investigadores de Carnegie Mellon construyeron un sistema de seguimiento del cuerpo utilizando cámaras en controladores de realidad virtual.

Actualmente, los sistemas de realidad virtual para consumidores solo rastrean la posición de la cabeza y las manos. Ningún sistema en el mercado viene con Seguimiento de su torso o extremidades, pero algunos entusiastas de PC VR conectan los rastreadores Vive de HTC a sus caderas y pies, un caso de uso respaldado por software como VRChat y LIV. Dado que Vive Trackers cuesta $ 139 cada uno, el costo total adicional supera los $ 700 si aún no tiene estaciones base SteamVR. Existen soluciones no oficiales de seguimiento del cuerpo que utilizan hardware antiguo con controladores creados por la comunidad, p. para Kinect de Microsoft, pero esto solo funciona desde el frente y la calidad del seguimiento no es muy buena.

Las cámaras adicionales en los auriculares dirigidas a su cuerpo teóricamente podrían rastrear las extremidades, pero la vista de sus piernas a menudo quedaría oscurecida por su torso o brazos, especialmente a medida que los auriculares se vuelven más delgados. Compañías como Meta podrían lanzar alternativamente estaciones de seguimiento externas inalámbricas con una cámara, batería y un conjunto de chips móvil que ejecutan algoritmos de visión por computadora, pero los desarrolladores no podían contar con que los usuarios compraran y configuraran un accesorio tan costoso.

ControllerPose es una solución prototipo con dos cámaras de ojo de pez conectadas a cada controlador VR y apuntando hacia ti. El software fusiona la vista de las dos cámaras para lograr un campo de visión aún más amplio y ver la mayor parte posible de su cuerpo. Sus estimaciones de pose tienen una precisión de 8,59 cm, informan los investigadores.

Para procesar las cámaras, los investigadores probaron dos enfoques: transmitir a una PC cercana y procesar a bordo usando un módulo de cómputo Raspberry Pi 4 y Google Coral. Usar una PC (o los auriculares independientes) sería más económico, pero el procesamiento integrado daría como resultado una latencia más baja.

Capturas de pantalla surgieron en septiembre pasado que parecían mostrar los controles del próximo Proyecto Cambria con tres cámaras integradas para un seguimiento independiente de adentro hacia afuera. Esas cámaras no parecen estar dirigidas a ti, pero un video tutorial filtrado parece mostrar el seguimiento del cuerpo. Es posible que Cambria o un futuro meta-auricular puedan hacer un seguimiento del cuerpo utilizando una técnica similar a ControllerPose.

La desventaja de ControllerPose, según los investigadores, es que el 32 % del tiempo en las «experiencias típicas de realidad virtual» los controladores no tienen una buena vista del cuerpo: están demasiado cerca o de costado. Los sistemas futuros podrían integrar cámaras en los controladores y cámaras en los auriculares, pero parece que solo una solución externa puede lograr un seguimiento corporal totalmente confiable. Aún así, ¿podría una solución de este tipo funcionar en suficientes escenarios para ser útil para la mayoría de las personas?