//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
¿Qué significa «neuromorfo» hoy?
«Obtendrás 10 respuestas diferentes de 10 personas diferentes», se rió Luca Verre, CEO de Prophesee. «A medida que las empresas pasan de ‘esto es lo que creemos’ a ‘cómo podemos hacer esto realidad’, el significado de neuromorfismo cambiará».
La mayoría de las empresas involucradas en la detección neuromórfica y la computación tienen una visión similar en mente, dijo, pero las implementaciones y estrategias variarán según el producto, el mercado y las restricciones de inversión.
“La razón por la que… todas estas empresas trabajan [on neuromorphic technologies] es porque existe la creencia subyacente de que el modelo biológico tiene propiedades superiores en comparación con el convencional», dijo. «La gente hace diferentes suposiciones sobre los productos, sobre la integración de sistemas, sobre las oportunidades comerciales, y hacen diferentes implementaciones… Pero fundamentalmente, la creencia es la misma».
La visión de Verre es que las tecnologías neuromórficas pueden acercar la tecnología a los humanos, lo que en última instancia conduce a una experiencia más inmersiva y permite una adopción más rápida de tecnologías como la conducción autónoma y la realidad aumentada.
«Cuando la gente entiende que la tecnología que hay detrás está más cerca de cómo trabajamos y es fundamentalmente natural, es una fuente increíble de tranquilidad», dijo.
¿Qué mercados primero?
Prophesee ha estado en su misión de comercializar la cámara basada en eventos utilizando su tecnología patentada de sensor de visión dinámica durante varios años. La compañía ha trabajado con el líder en cámaras Sony para producir un módulo de cámara compacto, de alta resolución y basado en eventos, el IMX 636. En este módulo, la capa de fotodiodos se apila directamente sobre la capa CMOS mediante el proceso de apilamiento de troqueles 3D de Sony.
Según Verre, la visión artificial es el sector más cercano a la adopción comercial de esta tecnología.
«La industria es un segmento líder en la actualidad porque históricamente empujamos nuestra cámara de tercera generación a ese segmento, que tenía un sensor más grande y se adaptaba mejor a este tipo de aplicación», dijo. «La industria siempre ha sido un segmento muy activo de la visión artificial, de hecho, es probablemente uno de los segmentos que adoptó las tecnologías CCD y CMOS desde el principio… definitivamente un mercado clave».
El segundo mercado clave para el IMX 636 son las tecnologías de consumo, impulsadas por la reducción de tamaño que permite el proceso de apilamiento de matrices de Sony. Las aplicaciones de consumo incluyen cámaras IoT, cámaras de vigilancia, cámaras de acción, drones, robots de consumo e incluso teléfonos inteligentes. En muchos casos, la cámara basada en eventos se usa junto con una cámara de fotograma completo que detecta movimiento, por lo que se puede aplicar el procesamiento de imágenes para capturar imágenes de mejor calidad incluso cuando el sujeto se está moviendo.
«La razón es muy simple: las cámaras basadas en eventos son excelentes para comprender el movimiento», dijo. «Para eso están destinados. Las cámaras basadas en fotogramas son mejores para comprender la información estática. La combinación de información dinámica de una cámara basada en eventos e información estática de una cámara basada en cuadros es complementaria cuando desea capturar una imagen o video en una escena donde algo se mueve”.
Los datos de eventos se pueden combinar con imágenes de fotograma completo para corregir cualquier borrosidad en la imagen, especialmente para cámaras de acción y cámaras de vigilancia.
«Claramente estamos viendo algo de tracción en esta área, lo que por supuesto es muy prometedor dado que el volumen típicamente asociado con esta aplicación puede ser bastante sustancial en comparación con la visión artificial», dijo.
Prophesee también está trabajando con un cliente en soluciones de monitoreo de conductores en la industria automotriz, donde las cámaras basadas en eventos ofrecen ventajas en rendimiento con poca luz, sensibilidad y detección rápida, según Verre. Las aplicaciones aquí incluyen detección de guiños, seguimiento o seguimiento de rostros y detección de microexpresiones.
acercamiento a la comercializacion
Profhesee ha trabajado arduamente para impulsar la comercialización de cámaras basadas en eventos. La compañía lanzó recientemente un nuevo kit de evaluación (EVK4) para el IMX 636. Este kit fue diseñado para visión artificial con un cuerpo resistente, pero funciona para todas las aplicaciones (Verre dijo que se han vendido varios cientos de estos kits). Metavision SDK de la empresa de visión basada en eventos también se lanzó recientemente como código abierto para reducir la fricción en la adopción de tecnología basada en eventos. La comunidad de Metavision cuenta hoy con alrededor de 5.000 miembros registrados.
«EDK es una gran herramienta para continuar impulsando y difundiendo la tecnología, y viene en un factor de forma muy típico», dijo Verre. “El SDK oculta la percepción de complejidad que cualquier ingeniero o investigador puede tener al probar o investigar una nueva tecnología… Piense en los ingenieros que han estado procesando imágenes durante varias décadas y ahora ven eventos… que no quieren ser estirado demasiado lejos de su zona de confort”.
Nuevo en Metavision SDK es un simulador que convierte cuadros en eventos para ayudar a los diseñadores a hacer la transición entre la forma en que trabajan hoy y el espacio de eventos. Al notar la renuencia de algunos diseñadores a alejarse del marco completo, Verre dijo que el simulador está diseñado para mostrarles que no hay nada mágico en los eventos.
«[Events are] solo una forma de capturar información de la escena que tiene mucha más precisión temporal en comparación con las imágenes y en realidad es mucho más relevante porque generalmente solo obtienes lo que está cambiando», dijo.
El simulador también puede reconstruir cuadros completos a partir de datos de eventos, lo que dice que la gente encuentra tranquilizador.
«La mayoría de los clientes ya no enfrentan este desafío porque entienden que necesitan ver desde una perspectiva diferente, similar a cuando usan tecnologías como el tiempo de vuelo o el ultrasonido», dijo. “El desafío es cuando perciben que este es otro sensor de imagen… para esta categoría de clientes hemos desarrollado esta herramienta que puede mostrarles el camino para pasar gradualmente a esta nueva modalidad de sensor… es un cambio de mentalidad que puede llevar tiempo, pero vendrá.»
Las aplicaciones realizadas en la comunidad de desarrolladores de Prophesee incluyen restauración de la visión para ciegos, detección y clasificación de contaminantes en muestras médicas, seguimiento de partículas en investigación, sensores táctiles robóticos y seguimiento de desechos espaciales.
hoja de ruta de hardware
En cuanto a la hoja de ruta, Prophesee planea continuar desarrollando hardware y software junto con nuevos kits de evaluación, kits de desarrollo y diseños de referencia. Esto puede incluir diseños de referencia del sistema que combinan sensores Prohpesee con procesadores especialmente diseñados. Por ejemplo, el socio de Prohpesee, iCatch, ha desarrollado un SoC de procesador de visión AI que interactúa de forma nativa con el IMX 636 y tiene un decodificador de eventos en el chip. El proveedor principal japonés de IA, DMP, también está trabajando con Prophesee en un sistema basado en FPGA, y se están trabajando otras asociaciones, dijo Verre.
«Estamos viendo un creciente interés de los socios del ecosistema a nivel de SoC, pero también a nivel de software, que están interesados en desarrollar nuevas soluciones basadas en la tecnología de Prophesee», dijo. «Este tipo de activo es importante para la comunidad, ya que es otro paso hacia la solución completa: pueden obtener el sensor, la cámara, la plataforma informática y el software para crear una solución completa».
¿Qué sigue para el hardware de sensor basado en eventos? Verre identificó dos direcciones clave en las que se moverá la tecnología. El primero es reducir aún más el tamaño de píxel (paso de píxel) y la reducción general del sensor para que sea adecuado para aplicaciones de consumo compactas como dispositivos portátiles. El segundo facilita la integración de la detección basada en eventos en las plataformas SoC tradicionales.
Trabajar con empresas informáticas será fundamental para garantizar que los sensores de próxima generación incorporen de forma nativa la capacidad de interactuar con la plataforma informática, simplificando la tarea a nivel del sistema. El resultado serán sensores más inteligentes con inteligencia adicional a nivel de sensor.
«Creemos que los eventos tienen sentido, así que hagamos más preprocesamiento en el sensor mismo, porque ahí es donde se pueden hacer menos compromisos», dijo Verre. “Cuanto más se acerque a capturar la información, mejor estará en términos de eficiencia y baja latencia. También evita la necesidad de cifrar y transmitir los datos. Así que eso es algo que estamos persiguiendo”.
A medida que las fundiciones continúan avanzando en el proceso de apilamiento 3D, el apilamiento en dos o incluso tres capas con los procesos CMOS más avanzados puede ayudar a brindar más inteligencia al nivel de píxel.
¿Cuánta inteligencia en el píxel es la cantidad correcta?
Verre dijo que es una compensación entre aumentar el costo del silicio y tener suficiente inteligencia para garantizar que interactúe lo suficientemente bien con las plataformas informáticas tradicionales.
«Los sensores no suelen utilizar nodos de procesamiento avanzado, como mucho 28nm o 22nm», dijo. “Los SoC convencionales usan 12nm, 7nm, 5nm e inferiores, por lo que están en nodos de tecnología que pueden comprimir el componente digital extremadamente bien. La ecuación tamaño-costo significa que es más eficiente y económico en un punto determinado [to put the intelligence] en el SoC.”
También existe cierta sinergia al combinar sensores basados en eventos con arquitecturas informáticas neuromórficas.
«El objetivo final de la tecnología neuromórfica es tener tanto la adquisición como el procesamiento neuromórfico o basado en eventos, pero aún no hemos llegado a ese punto en términos de madurez de este tipo de solución», dijo. Estamos muy activos en este espacio para prepararnos para el futuro, estamos trabajando con Intel, SynSense y otros socios en este espacio, pero a corto plazo, el mercado principal estará ocupado por plataformas SoC tradicionales.
El enfoque del Profeta aquí es pragmático. Verre dijo que el objetivo de la compañía es minimizar los compromisos para brindar beneficios superiores a las soluciones convencionales.
«En última instancia, creemos que los eventos deberían transmitirse naturalmente de forma asíncrona a una arquitectura informática que también sea asíncrona para aprovechar al máximo la latencia y el rendimiento», dijo. «Pero tenemos que ser pragmáticos y organizar este desarrollo y realmente aprovechar las plataformas existentes y trabajar con socios clave en este espacio que estén dispuestos a invertir en desarrollos de software y hardware y optimizar ciertas soluciones para ciertos mercados».
