Meta compartió una nueva investigación sobre simulación realista de ropa para avatares.
Esta solución de ropa se basa en Codec Avatars: el proyecto de desarrollo a largo plazo de Meta avatares fotorrealistas impulsados por sensores de hardware VR en tiempo real, y es del mismo equipo. En lugar de la representación tradicional, la idea de los avatares de códec es usar una serie de redes neuronales para conocer la apariencia de una persona determinada, luego codificar constantemente su estado actual en función de las entradas del sensor y, finalmente, representar ese estado como geometría y decodificación de texturas de salida final. . Desde la presentación original, el equipo de Codec Avatars ha mostrado varios avances en el sistema, como: ojos mas realistasuna versión requiere solo seguimiento ocular y entrada de micrófonoa Versión 2.0 que se acerca al realismo total y la generación que usa solo iPhone con identificación facial.
La investigación más reciente, Apariencia fotorrealista profunda para ropa simulada físicamente, aplica redes neuronales a la deformación realista de la ropa para cada tipo de cuerpo:
Como siempre notamos, meta todavía todavía tiene un largo camino por recorrer para lograr este tipo de fidelidad a la hora de enviar productos. Este sistema de ropa actualmente funciona a solo 13 cuadros por segundo en una GPU NVIDIA RTX 3090. Pero en el ámbito del aprendizaje automático, la optimización puede volverse dramática con el tiempo. Los algoritmos de síntesis de voz y reconocimiento de objetos de los teléfonos inteligentes actuales solían requerir costosas GPU para PC.
Meta avatares hoy tener un estilo de arte caricaturesco simple. De hecho, su realismo ha disminuido con el tiempo y probablemente sea más adecuado para grupos más grandes con entornos complejos en aplicaciones como Horizon Worlds en el procesador móvil de Quest 2. Sin embargo, los avatares de códec se pueden comprar como una opción separada en lugar de una actualización directa de los avatares de dibujos animados de hoy. . En su entrevista con Lex Fridman, el director ejecutivo Mark Zuckerberg describió un futuro en el que podría usar un avatar «expresionista» en juegos casuales y un avatar «realista» en reuniones de trabajo.
En abril Yaser Sheikh, quien lidera el equipo de avatares de códec, dijo que es imposible predecir qué tan lejos está de la entrega real. Dijo que cuando comenzó el proyecto estaba «a diez maravillas de distancia» y ahora cree que está a «cinco maravillas de distancia».
