[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
VISTA A LA MONTAÑA, CALIFORNIA – La startup Useful Sensors de Pete Warden lanzó esta semana una nueva campaña de financiación colectiva para su sistema de procesamiento del lenguaje natural (NLP), basado en una pequeña computadora de placa única Rockchip. El módulo «AI in a box», basado en hardware disponible en el mercado de Rockchip, comprende el lenguaje natural, responde consultas y genera texto completamente en el borde. La empresa puede ejecutar Whisper de OpenAI dos veces más rápido que Faster-Whisper, la implementación más rápida de Whisper hasta la fecha con un motor de inferencia dedicado.
El módulo NLP AI in a box de Useful Sensors aprovecha los componentes de hardware disponibles en el mercado en combinación con los modelos y el software de Useful Sensors, incluido el marco Useful Transformers de la compañía y las optimizaciones para el hardware en el que se ejecuta.
La startup eligió la placa Rockchip para los potentes núcleos Cortex-A76 de cuatro brazos y Cortex-A55 de cuatro brazos del SoC RK3588S, así como la unidad de procesamiento neuronal (NPU) 6 TOPS (INT4) desarrollada internamente por Rockchip.
«La NPU nos ayuda a ejecutar la funcionalidad de voz a texto dos veces más rápido que cualquier otra persona en esta placa», dijo Warden a EE Times. “Hay muchos casos de uso divertidos que puedes crear a su alrededor. Una vez que tenga la conversión de voz a texto, podrá hacer todas estas otras cosas maravillosas, incluidos los subtítulos para eventos en vivo, en los que trabajaremos con algunas conferencias en los próximos meses para brindar subtítulos en vivo desde nuestras cajas”.
![Útiles sensores de IA en una caja](https://www.eetimes.com/wp-content/uploads/20230914_140208-1.jpg?w=640&is-pending-load=1#038;resize=640%2C480)
Además de proporcionar subtítulos y transcripciones, la caja también puede realizar traducciones sobre la marcha al inglés desde 15 idiomas principales y ejecutar un modelo de lenguaje grande para generar respuestas a preguntas. Ejemplos de casos de uso incluyen subtítulos o uso como teclado de voz.
La campaña de financiación colectiva a través de Crowdsupply es una oportunidad para poner el sistema en manos de la comunidad de creadores, dijo Warden.
“[The crowdfunding campaign] es una oportunidad para poner esto en manos de fabricantes y prototipos; estamos trabajando con empresas más grandes para convertir esto en productos más grandes, pero creemos que esta puede ser una plataforma realmente excelente para que las personas, además de hablar sobre lo suyo, desarrollen sus Capacidad de texto de aplicaciones propias”, dijo.
La versión del sistema, financiada mediante crowdfunding, viene en un estuche hecho a medida para que pueda «colocarse en la mesa de la cocina para subtitular la conversación, o llevarse a un evento y conectarse a una salida HDMI para proporcionar subtítulos para el evento». una reunión para que puedas traducirlo en tiempo real», dijo Warden, y agregó que cualquiera que sepa escribir Python puede usar el flujo de texto entregado de otras maneras.
El objetivo de Warden es llevar dicho sistema a un factor de forma pequeño y a un precio de 50 centavos en los próximos años para permitir aplicaciones generalizadas de IA en el borde. Mientras tanto, el sistema actual puede proporcionar una interfaz de usuario basada en voz para productos completamente en el borde.
Aceleración de susurros
![Módulos de sensores útiles](https://www.eetimes.com/wp-content/uploads/20230914_144106-1.jpg?w=225&is-pending-load=1#038;resize=225%2C300)
La implementación de Whisper de Useful Transformers se basa en un código personalizado de nivel C++ que llama a la biblioteca de multiplicación de matrices de Rockchip. Las partes de la pila que no son de hardware son de código abierto. «Las bibliotecas de Rockchip son de código cerrado, pero están disponibles», dijo a EE Times Manjunath Kudlur, cofundador y director de tecnología de Useful Sensors. “Esa es la única pieza que necesita ser reemplazada. [for the framework] para ejecutarse en otro hardware. El objetivo es hacer que el resto del firmware sea lo más liviano posible para que se ejecute lo más rápido posible”.
La compañía ha hecho que su marco Useful Transformers sea de código abierto. Aunque actualmente solo funciona para el dispositivo Rockchip y solo ejecuta Whisper, hay planes para expandirlo a otros modelos de Transformer y otro hardware en el futuro.
Useful Sensors también está trabajando en el desarrollo de módulos de sensores para sus implementaciones de modelos patentados. El sensor de personas de la generación actual de la compañía es una placa del tamaño de un sello postal con una cámara en el frente y un microcontrolador inalámbrico Espressif Systems ESP32-S3 en la parte posterior. Una segunda placa similar se basa en el microcontrolador Raspberry Pi RP2040 con una cámara LG y está diseñada para leer códigos QR.
[ad_2]