[ad_1]
Las capacidades de seguimiento de rostros de Quest Pro se están implementando rápidamente para hacer que los avatares de Meta sean más expresivos, pero los avatares de próxima generación se beneficiarán mucho más de la nueva tecnología.
Una de las grandes funciones nuevas de Quest Pro es un sistema de seguimiento facial que utiliza cámaras internas para capturar el movimiento de los ojos y algunas partes de la cara. Combinado con un modelo de aprendizaje automático sin calibración, el auricular toma lo que ve y lo convierte en entradas que pueden controlar la animación de cada avatar.
Cobertura de Key Quest Pro:
Quest Pro revelado: especificaciones completas, precio y fecha de lanzamiento
Quest Pro Hands-on: el comienzo de la era de los auriculares de realidad mixta
Análisis técnico de Quest Pro: qué es prometedor y qué no
Touch Pro Controller revelado – también compatible con Quest 2
A corto plazo, esto se utilizará con los avatares existentes de Meta. Y aunque ciertamente los hace más expresivos, todavía se ven un poco tontos.
Este es probablemente el resultado de que el actual sistema de meta-avatar no está diseñado con este nivel de seguimiento de rostros en mente. El «rigging», el marco de animación subyacente del modelo, no parece ser muy adecuado para esta tarea. Injertar las entradas de seguimiento facial de Quest Pro en el sistema actual realmente no está a la altura de lo que realmente es capaz de hacer.
Afortunadamente, Meta creó una demostración técnica que muestra lo que es posible cuando se diseña un avatar teniendo en cuenta el seguimiento facial de Quest Pro (y cuando casi toda la potencia de procesamiento de los auriculares se usa para renderizar).
Sí, todavía es un poco raro, pero cada movimiento que ves aquí es impulsado por el usuario que realiza los mismos movimientos, incluyendo cosas como hinchar las mejillas o mover la boca de un lado a otro. En general, es una representación mucho más completa de una cara que diría que logra evitar entrar en el valle inquietante.
Pude probar esta demostración yo mismo en mi última práctica con Quest Pro, donde me miré en el espejo y apareció este personaje (que se llama Meta Aura). Me impresionó mucho que la cara que veía en el espejo, incluso sin una calibración especial, parecía imitar todos los movimientos que podía imaginar que hacía mi cara.
Me atrajo particularmente el detalle de la piel. Cuando entrecerré los ojos y arrugué la nariz, pude ver que la piel a su alrededor se contraía de manera realista, y lo mismo cuando levanté la ceja. Esos detalles sutiles, como el pliegue en la mejilla que se mueve con la boca, realmente hacen mucho para dar la impresión de que esto no es solo un objeto frente a mí, sino algo que tiene un ser vivo detrás.
Si las expresiones realmente se parecen o no yo Cuándo soy yo el que está detrás de la máscara es otra pregunta. Dado que la cara de este avatar no coincide con la mía, en realidad es difícil saberlo. Pero al menos ese es el movimiento. plausiblemente realista es un primer paso importante hacia avatares virtuales que se sienten naturales y creíbles.
Meta dice que lanzará la demostración de Aura como un proyecto de código abierto para que los desarrolladores puedan ver cómo adjuntaron las entradas de seguimiento facial al avatar. La compañía también dice que los desarrolladores pueden usar un solo conjunto de herramientas para controlar avatares humanoides o avatares no humanos como animales o monstruos sin tener que modificar cada avatar individualmente.
Meta dice que los desarrolladores podrán aprovechar una API de seguimiento facial que utiliza valores que se ajustan a FACS, un sistema reconocido para describir el movimiento de varios músculos en el rostro humano.
Este no solo es un sistema efectivo para renderizar caras, sino que también forma una barrera de privacidad útil para los usuarios. Según Meta, los desarrolladores no pueden acceder a las imágenes sin procesar de la cara del usuario. En cambio, obtienen una «serie de puntajes de cero a uno que corresponden a una serie de movimientos faciales genéricos, como arrugar la nariz o fruncir el ceño», dice Meta. «Estas señales facilitan que un desarrollador retenga el significado semántico del movimiento original del jugador cuando asigna señales de la API de seguimiento de rostros a su propia plataforma de personajes, ya sea que su personaje sea humanoide o incluso algo más fantástico».
Meta afirma que incluso la propia empresa no puede ver las imágenes capturadas por las cámaras de los auriculares, ni interna ni externamente. Se procesan en el auricular y, según la empresa, se eliminan de inmediato sin enviarse nunca a la nube ni a los desarrolladores.
[ad_2]