Los investigadores pueden tomar una imagen y usarla como punto de referencia para crear un mundo, objeto o persona virtual.
A medida que las empresas consideren una presencia en el metaverso a través de un gemelo digital, la capacidad de crear rápida y fácilmente contenido 3D estilizado y mundos virtuales será cada vez más importante en el futuro.
Uno lanzado recientemente Universidad de Cornell El artículo investigó esta tendencia creciente y desarrolló una solución para generar campos de radiación neuronal estilizados (SNeRF) que se pueden usar para crear una amplia gama de escenas virtuales dinámicas a velocidades más altas que los métodos tradicionales.
Usando varias imágenes de referencia, el equipo de investigación de Do Nguyen Phuoc, feng liuy lei xiao pudieron generar escenas 3D estilizadas que podrían usarse en una variedad de entornos virtuales. Por ejemplo, imagina ponerte un visor de realidad virtual y ver cómo se vería el mundo real a través de una lente estilizada como una pintura de Pablo Picasso.
Este proceso permite al equipo no solo crear rápidamente objetos virtuales, sino también utilizar su entorno real como parte del mundo virtual con reconocimiento de objetos 3D.
Es importante tener en cuenta que el equipo de investigación también pudo observar el mismo objeto desde diferentes direcciones de visualización en el mismo punto de vista, también conocido como consistencia de vista cruzada. Esto crea un efecto 3D inmersivo cuando se ve en VR.
Al alternar los pasos de optimización de NeRF y estilización, el equipo de investigación pudo tomar una imagen y usarla como estilo de referencia, luego recrear un entorno, objeto o persona del mundo real de una manera que coincida con la estilización de esa imagen, acelerando la creación proceso.
«Presentamos un nuevo método de entrenamiento para abordar este problema al alternar los pasos de optimización de NeRF y estilización». dijo el equipo. “Este proceso nos permite utilizar completamente nuestra capacidad de almacenamiento de hardware para generar imágenes de mayor resolución y aplicar métodos de transferencia de estilos visuales más expresivos. Nuestros experimentos demuestran que nuestro método genera NeRF estilizados para una amplia gama de contenido, incluidas escenas interiores, exteriores y dinámicas, y sintetiza vistas novedosas de alta calidad con consistencia entre vistas”.
Debido a las limitaciones de memoria de NeRF, los investigadores también tuvieron que resolver otro problema: cómo generar imágenes 3D de mayor resolución a una velocidad que se sintiera más como en tiempo real. La solución fue crear un ciclo de vistas renderizadas que, con cada iteración, pudiera apuntar a los puntos de estilización de manera más consistente en cada iteración y luego reconstruir la imagen con más detalle.
La tecnología también mejoró los avatares. El enfoque SNeRF estilizado del equipo de investigación les permitió crear un avatar que era más expresivo durante las conversaciones. El resultado son avatares 4D dinámicos que pueden transmitir de manera realista emociones como la ira, el miedo, la emoción y la confusión sin necesidad de usar un emoji o presionar un botón en un controlador de realidad virtual.
La investigación está en curso, pero por ahora el equipo ha podido desarrollar un método para estilizar escenas 3D que utiliza representaciones neuronales implícitas que afectan su entorno y avatares. Además, su enfoque de usar un método de estilización alternativo permitió el uso completo de su capacidad de memoria de hardware para estilizar escenas 3D estáticas y dinámicas, lo que permitió al equipo producir imágenes de mayor resolución y métodos de transferencia de estilo de imagen más expresivos a la realidad virtual.
Si te interesa profundizar en los detalles, puedes acceder a su informe aquí.
Crédito de la foto: Universidad de Cornell
