[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
GrAI Matter, una compañía de computación neuromórfica, tiene $ 1 millón en pedidos anticipados para su chip GrAI VIP, dijo la compañía al EE Times.
La puesta en marcha ha tenido compromisos de empresas de consumo de nivel 1, fabricantes de módulos (incluidos ADLink, Framos y ERM), institutos de investigación gubernamentales de EE. UU. y Francia, empresas automotrices de nivel 1 e integradores de sistemas, proveedores y distribuidores de caja blanca.
Al igual que con las generaciones anteriores del núcleo Neuron Flow de la empresa, el chip GrAI VIP de la empresa utiliza conceptos de dispersión y detección basados en eventos para procesar datos de imágenes de manera eficiente. Esto significa que un diseño de neurona con estado (que recuerda el pasado) se usa para procesar solo la información que ha cambiado entre un cuadro de un video y el siguiente, evitando procesar partes sin cambios de los cuadros una y otra vez. Combine esto con una arquitectura de cómputo/flujo de datos sensible a la memoria y el resultado es una visión por computadora en tiempo real, de baja latencia y de bajo consumo.
El chip de primera generación de la compañía, GrAI One, se lanzó en el otoño de 2019. Se produjo una segunda generación exclusivamente para un proyecto en el que GrAI Matter estaba colaborando con el gobierno de EE. UU., lo que convirtió a GrAI VIP en un producto de tercera generación.
GrAI VIP puede manejar SSD MobileNetv1 funcionando a 30 fps por 184 mW, aproximadamente 20 veces las inferencias por segundo por vatio en comparación con una GPU comparable, dijo la compañía, y agregó que las optimizaciones adicionales relacionadas con la escasez y la escala de voltaje podrían mejorar esto aún más.
El chip GrAI VIP es un SoC con una versión actualizada de la estructura Neuron Flow de la compañía más dos CPU Arm Cortex-M7 (incluidas las extensiones DSP) para el procesamiento previo y posterior. Tiene dos interfaces de cámara MIPI Rx/Tx.
«Se trata de pasar a un nuevo caso de uso de la IA», dijo a EE Times Ingolf Held, director ejecutivo de GrAI Matter. “Hoy en día, la mayor parte del mundo se preocupa por comprender el audio y el video, y de ahí provienen los metadatos. Así que a nadie le importa realmente lo que pasó con el feed original, no realmente. Básicamente, todas las arquitecturas introducen la mayor cantidad de MAC en su arquitectura con la menor precisión posible para obtener básicamente los metadatos. Pero eso solo nos lleva hasta cierto punto… Nuestro objetivo es transformar la experiencia de audio y video para los consumidores en el hogar y en el trabajo. Y para transformarlo, se necesita una arquitectura diferente. La arquitectura tiene requisitos muy diferentes en términos de latencia, en términos de calidad, las métricas son muy diferentes”.
La actualización más significativa del tejido Neuron Flow de la empresa en esta tercera generación es que el núcleo ahora está listo para FP16, afirmó Mahesh Makhijani, vicepresidente de desarrollo comercial de GrAI Matter Labs. Esto es inusual para un chip de punto final, donde la precisión generalmente se reduce tanto como sea posible para ahorrar energía.
«Todas nuestras operaciones MAC se ejecutan en punto flotante de 16 bits, lo cual es único en comparación con casi todas las demás arquitecturas de borde del mercado», dijo Makhijani. «Muchas personas sacrifican el rendimiento y la eficiencia yendo a INT de 8 bits… con escasez y procesamiento basado en eventos, tuvimos que usar punto flotante de 16 bits solo porque realizamos un seguimiento de lo que sucedió en el pasado . Pero tenemos la ventaja esencialmente porque hay tantas ventajas que el punto flotante de 16 bits no es una sobrecarga para nosotros. Y, de hecho, nos ayuda bastante en algunos casos de uso importantes en términos de procesamiento en tiempo real”.
Esto incluye beneficios desde una perspectiva de desarrollo. Los modelos entrenados en coma flotante de 32 bits se pueden cuantificar a coma flotante de 16 bits, por lo que normalmente pierden menos de un punto porcentual de precisión. (Una cuantificación típica de INT8 perdería de dos a tres puntos porcentuales, dijo Makhijani). El resultado es que los modelos cuantificados no requieren un nuevo entrenamiento, lo que ahorra un paso que puede llevar mucho tiempo de desarrollo.
«Si desea maximizar el rendimiento en comparación con el consumo de energía, la precisión se puede sacrificar hasta cierto punto, especialmente en las tareas de detección… pero hay una compensación en términos de tiempo de capacitación, constantemente pasa mucho más tiempo entrenando modelos. – dijo Majijani. «Se acumula cuando la situación en el mercado cambia y necesitas volver a capacitarte».
GrAI Matter equilibra el consumo de energía necesario para actualizar a MAC de mayor precisión con sus conceptos de ahorro de energía basados en el procesamiento basado en eventos y la dispersión. Debido a que una mayor precisión significa que se puede obtener una mejor precisión, los modelos también se pueden recortar más, lo que reduce su tamaño para una precisión de predicción dada.
Por ejemplo, la cuantificación de FP16 a FP8 para ResNet-50 capacitado en el conjunto de datos de ImageNet redujo el tamaño del modelo de 51,3 MB a 5,8 MB (alrededor de 9x) con recorte, lo que mantuvo la precisión en 0,5 %. Esto es posible sin eliminar capas, ramas o clases de salida. El tamaño podría reducirse aún más usando Mixed Precision (es decir, una combinación de FP4 y FP8), dijo Makhijani.
GrAI Matter ve su oferta entre los chips de servidor de borde y tinyML, aunque se dice que su dispositivo se ubica junto a los sensores en el sistema. Un caso de uso ideal sería GrAI VIP junto con una cámara en un módulo de cámara compacta, agregó.
«Nuestro objetivo es proporcionar capacidades en el rango de decenas a cientos de milivatios, según el caso de uso», dijo Makhijani.
En comparación con el chip GrAI One de primera generación, el GrAI VIP de tercera generación es físicamente un poco más pequeño con 7,6 x 7,6 mm, pero la empresa omitió un nodo de proceso y migró a TSMC 12nm. El chip tiene un poco menos de núcleos de neuronas, 144 en comparación con 196, pero cada núcleo es más grande. El resultado es un salto de 200 000 núcleos de neuronas (250 000 parámetros) a alrededor de 18 millones de neuronas para un total de 48 millones de parámetros. La memoria en chip ha aumentado de 4 MB a 36 MB.
Un kit de desarrollo de hardware M.2 con GrAI VIP ya está disponible y viene con la pila de software GrAI Flow de GrAI Matter y el zoológico modelo para clasificación de imágenes, detección de objetos y segmentación de imágenes.
[ad_2]