[ad_1]
La API de «seguimiento del cuerpo» de Quest no es lo que parece ni suena.
La API de seguimiento corporal se lanzó el jueves como parte del SDK de movimiento, que también incluye la API de seguimiento ocular y la API de seguimiento facial para Quest Pro.
La cuenta oficial de Twitter de Oculus Developers anunció el lanzamiento con una imagen de la documentación que muestra cómo rastrear la postura corporal completa de un usuario. Esto fue ampliamente compartido, lo que llevó a muchos a creer que Quest acaba de obtener soporte para el seguimiento del cuerpo, pero tanto el nombre como la ilustración de la API son engañosos.
La API de seguimiento de manos de Meta proporciona la posición real de sus manos y dedos rastreados por las cámaras orientadas hacia el exterior. Su API de seguimiento ocular y su API de seguimiento facial brindan la dirección real de su mirada y los movimientos de los músculos faciales, que son rastreados por las cámaras internas de Quest Pro. Pero la API «Body Tracking» solo proporciona un «esqueleto de la parte superior del cuerpo simulado‘ en función de las posiciones de la cabeza y las manos, confirmó un portavoz meta a UploadVR. No es un seguimiento real y no incluye tus piernas.
Un mejor nombre para la API sería Estimación de la postura del cuerpo. El orador describió la tecnología como una combinación de cinemática inversa (IK) y aprendizaje automático (ML). IK se refiere a una clase de ecuaciones para estimar las posiciones desconocidas de partes de un esqueleto (o robot) en función de las posiciones conocidas. Estas ecuaciones impulsan todos los avatares de realidad virtual de cuerpo completo en las aplicaciones actuales. Los desarrolladores no tienen que implementar (ni siquiera entender) las matemáticas detrás de IK, ya que los motores de juegos como Unity y Unreal tienen IK incorporado, y paquetes como el popular Final IK ofrecen implementaciones completas por menos de $100.
Sin embargo, a menos que esté utilizando hardware de seguimiento corporal como Vive Trackers de HTC, IK para VR tiende a ser impreciso: simplemente hay muchas soluciones posibles para cualquier conjunto dado de posiciones de cabeza y manos. La opinión de Meta aquí es que su modelo de aprendizaje automático puede generar una postura más precisa de forma gratuita. El video de demostración parece respaldar esa afirmación, aunque sin la mitad inferior del estuche, y con soporte limitado a los auriculares Quest, es poco probable que la mayoría de los desarrolladores acepten esa oferta.
Sin embargo, la evidencia en el evento Meta’s Connect 2022 y la investigación de la compañía sugieren que se agregarán más etapas en el futuro.
Hablando con los desarrolladores, el gerente de productos de seguimiento corporal, Vibhor Saxena, dijo:
«Las nuevas mejoras en el seguimiento del cuerpo en los próximos años estarán disponibles a través de la misma API, por lo que puede estar seguro de que aún obtiene la mejor tecnología de seguimiento del cuerpo de Meta sin tener que cambiar a una interfaz diferente.
Estamos entusiasmados de traerles estas características y estamos trabajando arduamente para que el seguimiento del cuerpo sea mucho mejor en los años venideros”.
Durante el discurso de apertura, Mark Zuckerberg anunció que los metaavatares ganarían terreno con una demostración que también fue engañosa. Legs llegará a Horizon a finales de este año y luego al SDK para otras aplicaciones el próximo año. Saxena confirmó que la API de seguimiento del cuerpo utiliza la misma tecnología subyacente que impulsa los metaavatares, lo que parece indicar que la API también tendrá piernas.
Quizás se esté preguntando: si la API de seguimiento del cuerpo es solo una estimación basada en las posiciones de la cabeza y las manos, ¿cómo es posible que incluya las piernas? El mes pasado, Meta mostró una investigación sobre este mismo tema, aprovechando los avances recientes en el aprendizaje automático. Sin embargo, el sistema que se muestra no es del todo exacto y tiene Latencia de 160 ms: más de 11 cuadros a 72 Hz. Este tiempo es demasiado lento y la salida es imperfecta, por lo que no puede esperar mirar hacia abajo y ver sus propias piernas en las posiciones que espera que estén. Los comentarios del CTO de Meta sugieren que la compañía podría usar tecnología como esta para mostrar piernas otra gente avatares en su lugar:
«Tener piernas en tu propio avatar que no coinciden con las piernas reales es muy inquietante para la gente. Pero, por supuesto, podemos hacer que otras personas se muevan, puedes ver eso y no te molesta en absoluto.
Así que estamos trabajando en piernas que parezcan naturales para un espectador, porque no saben cómo están colocadas realmente tus piernas, pero es probable que si miras tus propias piernas no veas nada. Esa es nuestra estrategia actual”.
Como encontramos en ese momento La próxima solución puede no ser de la misma calidad que esta investigación. Las publicaciones de aprendizaje automático a menudo se ejecutan en potentes GPU de PC con velocidades de cuadro relativamente bajas, y la publicación no menciona el rendimiento del tiempo de ejecución del sistema descrito.
[ad_2]