[ad_1]
Un vídeo publicado por un desarrollador de Vision Pro parece mostrar el nivel actual de seguimiento manual y rendimiento de oclusión del que son capaces los nuevos auriculares de Apple.
Apple Vision Pro, cuyo lanzamiento se espera para los próximos meses, utilizará el seguimiento manual como método de entrada principal. Si bien las interacciones a nivel de sistema combinan el seguimiento manual con el seguimiento ocular para una modalidad de «mirar y tocar», los desarrolladores también pueden crear aplicaciones que permitan a los usuarios interactuar directamente con las aplicaciones usando sus manos.
El seguimiento de manos en Vision Pro se puede dividir en dos funciones diferentes: «Seguimiento de manos» y «Oclusión de manos».
El seguimiento de la mano es el modelo 3D estimado de la mano, sus articulaciones y la posición de las yemas de los dedos. Este modelo se utiliza para determinar cuándo tocar, agarrar e interactuar con objetos.
La oclusión de la mano se trata de cómo el sistema superpone su mano real con contenido virtual. En lugar de dibujar un modelo 3D de una mano virtual en la escena, Vision Pro recorta la imagen de sus manos reales para mostrarlas en la escena. Esto añade otro nivel de realismo al contenido virtual, ya que puedes ver tus propias manos únicas.
Un desarrollador que trabaja con Unity para Vision Pro publicó un vídeo que ofrece una visión clara del seguimiento y la oclusión de las manos.
En el vídeo de arriba, las manos reales muestran el sistema de oclusión en acción, mientras que los puntos verdes muestran la posición 3D estimada de la mano.
Podemos ver que la oclusión de la mano es muy buena pero no perfecta; Cuando estás completamente rodeado de contenido virtual y te mueves rápidamente, es posible que veas algunos recortes en los bordes de tus manos.
Mientras tanto, la posición real de seguimiento de la mano va más por detrás de la oclusión de la mano, aproximadamente entre 100 y 200 ms. Sin embargo, no podemos determinar la latencia real del seguimiento de manos de Vision Pro porque solo tenemos una vista de las manos con seguimiento de oclusión para compararlas (que a su vez tienen cierta latencia en comparación con las manos reales).
En una nota relacionada, el video proviene de una conversación con desarrolladores de Unity donde dicen que sus primeros experimentos con Vision Pro mostraron una latencia de seguimiento manual muy alta, aparentemente en comparación con las últimas funciones de seguimiento manual de Quest. Otros desarrolladores de Unity coincidieron en que observaron una latencia similar en sus propios dispositivos Vision Pro.
Sin embargo, el video en cuestión es una integración de seguimiento manual dentro de una aplicación de Unity, lo que significa que el rendimiento y la latencia del seguimiento manual pueden tener factores adicionales relacionados con Unity que ocurrirían al usar las herramientas de desarrollo Vision Pro de Apple de primera línea. no están disponibles. Y teniendo en cuenta que los auriculares aún no se han lanzado y que estas herramientas aún están en desarrollo, es posible que veamos más mejoras cuando los auriculares salgan a la venta.
[ad_2]