[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
La empresa de sensores de visión dinámica (DVS), Prophesee, ha cambiado el tamaño de su cámara basada en eventos a un factor de forma adecuado para dispositivos AIoT (inteligencia artificial de las cosas) siempre activos. En comparación con el sensor de cuarta generación de 1 millón de píxeles de la compañía, el GenX320 de quinta generación tiene su resolución reducida a 320 x 320 píxeles y su tamaño de chip a 13 mm.2y ahora incluye formatos de datos estándar para un fácil procesamiento posterior y una jerarquía de modos de consumo de energía ultrabaja que se pueden usar para activar otras partes del sistema, dijo a EE Times el director ejecutivo de Prophesee, Luca Verre.
![Profetizar GenX320](https://www.eetimes.com/wp-content/uploads/PROPHESEE-Event-Based-Metavision-GenX320-Bare-Die-1.jpg?w=225&is-pending-load=1#038;resize=225%2C300)
“[Event-based sensor] «La tecnología ahora abre una oportunidad en el espacio del consumidor, donde un ecosistema más grande está tomando conciencia de la tecnología y está interesado en adoptarla», dijo Verre. “Pero hace tres años identificamos capacidades adicionales que no eran necesariamente adecuadas para nuestro sensor de cuarta generación. Por eso desarrollamos una quinta generación, para aplicaciones que requieren un dispositivo sensor muy pequeño por razones de costo, rendimiento e integración”.
Los sensores basados en eventos, como los sensores DVS, se basan en la biología de la retina humana: solo generan cambios en el brillo de los píxeles, no fotogramas completos de la imagen. Esto crea datos con bajo ancho de banda y baja latencia que aún contienen suficiente información sobre la escena. El menor esfuerzo computacional requerido para procesar estos datos de bajo ancho de banda significa que se puede ahorrar energía. La tecnología es muy resistente incluso en condiciones de poca luz.
El sensor de la generación anterior de Prophesee, desarrollado en colaboración con Sony, entró en producción en masa a finales de 2021. Este sensor HD es un chip apilado 3D BSI (retroiluminado) que es lo suficientemente pequeño como para apuntar a la electrónica de consumo por primera vez.
Prophesee trabajó con Qualcomm para demostrar este sensor con procesadores móviles Snapdragon. Verre dijo que al menos dos fabricantes de equipos originales están fabricando teléfonos inteligentes para su lanzamiento en 2025 que también incluyen la combinación Snapdragon y Prophesee. El caso de uso es fusionar datos de eventos y de pantalla completa para mejorar la calidad de imagen de la cámara del teléfono inteligente. El desenfoque de movimiento se puede reducir haciendo que el sensor Prophesee detecte movimiento en la foto y luego lo corrija utilizando los algoritmos de fotografía computacional de Prophesee.
GenX320, con su menor resolución, menor consumo de energía y tamaño más pequeño, apuntará a auriculares AR/VR, sistemas de seguridad y vigilancia/detección, pantallas sin contacto, seguimiento ocular y otros dispositivos IoT siempre activos. Aunque este sensor sigue siendo un diseño de pila BIS 3D, no fue desarrollado con Sony y se fabrica en una fundición diferente.
“Nuestra relación con Sony es muy buena: desarrollamos juntos el sensor de cuarta generación y también tenemos un acuerdo comercial para salir al mercado junto con Sony [for that]dijo Verré. “Esta asociación continúa, pero el sensor de quinta generación será diseñado por Prophesee, fabricado por nuestro socio de fundición y vendido por nosotros. El [fourth-gen and fifth-gen] Los sensores son completamente diferentes en cuanto a su posicionamiento en el mercado, tienen diferentes resoluciones de sensor para aplicaciones muy diferentes y, por lo tanto, son complementarios. No hay superposición, lo que hace que nuestra estrategia de comercialización con Sony sea muy sencilla”.
Interfaces y modos de rendimiento.
Christoph Posch, cofundador y CTO de Prophesee, dijo a EE Times que hay varias características nuevas importantes para GenX320 que son relevantes para las aplicaciones de IA e IoT de vanguardia.
«Nosotros [previously] tenía un formato de datos poco convencional que nadie podía entender realmente: codificaba la información visual dinámica en eventos que nadie entendía», dijo. “No teníamos velocidades de datos consistentes ni formatos o interfaces de datos estándar. Descubrimos que todas estas cosas han ralentizado la adopción de esta tecnología. Entonces pensamos: «Necesitamos desarrollar un sensor que sea más fácil de usar, que pueda integrarse en sistemas de visión de IA de vanguardia y ayudar a los clientes potenciales a trabajar realmente con ese sistema».
![Diagrama de bloques de Prophesee GenX320](https://www.eetimes.com/wp-content/uploads/Prophesee-block-diagram.jpg?w=236&is-pending-load=1#038;resize=236%2C300)
GenX320 incluye preprocesamiento en chip que reformatea los datos en formatos estándar de la industria según demanda, con tres opciones de interfaz:
- Una interfaz MIPI de gran ancho de banda se conecta a los procesadores de aplicaciones y utiliza todo el canal digital para preprocesar y filtrar los datos antes de transmitirlos.
- Una interfaz CPI (DCMI) se conecta a microcontroladores en aplicaciones de baja latencia. Los datos se pueden resumir en un histograma 2D listo para el procesamiento de IA.
- La interfaz de representación de eventos de dirección (AER) existente de Prophesee, que evita por completo el proceso de preprocesamiento digital, está diseñada para su uso con aceleradores de redes neuronales neuromórficos y de picos.
GenX320 también incluye una jerarquía de modos de ahorro de energía. El modo de menor potencia para la detección de actividad constante consume aproximadamente 36 µW. El modo completamente activo consume aproximadamente 3,5 mW con la interfaz CPI o 20 mW con la interfaz MIPI.
«Podemos ascender en la jerarquía a modos de rendimiento que permitan resoluciones más altas y una detección más inteligente, hasta el modo más alto donde todos los datos de eventos se transmiten completamente al procesador de aplicaciones a través de la interfaz de salida», dijo Posch. «Entre [the highest and lowest power modes]»Podemos cambiar entre estos modos de actuación dependiendo de lo que sucede en la escena».
Estos modos utilizan una nueva función llamada Detector de contraste global (GCD), que detecta objetos que se mueven, entran o salen del campo de visión. La matriz de píxeles se divide en áreas que pueden tener un tamaño de hasta 4 x 4 píxeles. Prophesee utiliza la suma de las fotocorrientes de los fotodiodos en cada área de la matriz, calculadas en hardware, para detectar actividad en esa área. Para el modo de menor consumo, hay nueve áreas de detección; El efecto es como si sólo nueve de cada 100.000 píxeles estuvieran encendidos, ahorrando mucha energía.
La CPU RISC-V también se puede utilizar para programar áreas de interés flexibles, hasta 12 al mismo tiempo.
![Profetizar GCD](https://www.eetimes.com/wp-content/uploads/Prophesee-GCD.jpg?w=640&is-pending-load=1#038;resize=640%2C670)
Tracción comercial
El sensor GenX320 ya está en manos de más de 20 clientes importantes para la creación de prototipos.
Con GenX360, Zinn Labs ha desarrollado un rastreador ocular basado en eventos para gafas AR/VR que produce 100 veces menos datos que una cámara de fotograma completo. Esto significa que el seguimiento ocular se puede realizar a 1 kHz o más, diez veces más rápido que una configuración de cámara de fotograma completo. Una de las aplicaciones para el seguimiento ocular rápido es el renderizado foveado: nuestros ojos no enfocan toda la escena a la vez, por lo que renderizar selectivamente la parte que estamos mirando puede ahorrar potencia de procesamiento si sabemos hacia dónde mira el ojo. Verre dijo que Zinn Labs está trabajando con sus clientes para comenzar la producción en masa del sensor Prophesee GenX320 el próximo año.
La startup británica Ultraleap utiliza el GenX320 como sistema de seguimiento manual para interfaces hombre-máquina sin contacto. Las condiciones de iluminación pueden ser un desafío para esta aplicación, pero el sensor Prophesee tiene un alto rango dinámico (más de 120 dB), dijo Verre.
![El sistema de seguimiento del conductor de Xperi utiliza un sensor Prophesee DVS](https://www.eetimes.com/wp-content/uploads/PROPHESEE-Event-Based-Metavision-GenX320-XPERI-DMS.jpg?w=640&is-pending-load=1#038;resize=640%2C360)
La empresa de electrónica de consumo Xperi ya tiene un sistema de monitoreo del conductor que utiliza el sensor de generación anterior de Prophesee y ahora está probando el GenX360 para dispositivos inteligentes y electrodomésticos. Y el OEM taiwanés YunX planea lanzar el próximo año un sistema de detección de caídas basado en GenX320 que preserva la privacidad.
Prophesee demostrará el GenX320 con un microcontrolador STM32 para IA de vanguardia en las próximas semanas, dijo Verre, y seguirán más diseños de referencia con diferentes tipos de procesadores. Se espera que la producción del GenX320 comience en la primera mitad del próximo año.
[ad_2]