[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
La startup de chips de IA Esperanto recientemente cambió su enfoque de la aceleración de recomendaciones a modelos de lenguajes grandes (LLM) y computación de alto rendimiento (HPC), lanzando un kit de desarrollo de software de propósito general y una tarjeta aceleradora PCIe para su RISC ET-SoC- de primera generación. 1. V chip acelerador del centro de datos.
La compañía cree que su chip está bien posicionado hoy para capitalizar el mercado de inferencia LLM, dijo a EE Times Craig Cochran, director de marketing de la compañía con sede en Mountain View, California.
“La verdadera posibilidad es que la gente base sus conclusiones en uno o dos mapas de bajo rendimiento, por lo que los mapas de bajo rendimiento [total cost of ownership]con latencia y rendimiento más rápidos que ejecutar en un [CPU]», dijo. «No esperamos que la gente quiera sacar conclusiones sobre las GPU; es excesivo. Y es por eso que creemos que vamos a competir con las CPU en lugar de con Nvidia en esta aplicación».
![Esperanto ET-SoC-1](https://www.eetimes.com/wp-content/uploads/Esperanto-chip-sq.jpg?w=300&is-pending-load=1#038;resize=300%2C300)
Esperanto ha demostrado el OPT-13B LLM de Meta funcionando en un único chip de esperanto que opera en el rango de potencia de 15 a 50 W con un consumo típico de alrededor de 25 W. Cochran dijo que la compañía también tiene otros modelos de IA generativa en funcionamiento hoy a través de su kit de desarrollo de software de IA.
Un enfoque renovado en los LLM es una consecuencia natural del reciente aumento de popularidad de la tecnología.
«Cuando lanzamos este chip hace dos años, el respaldo fue un gran problema y los transformadores no nacieron y ahora tenemos transformadores y LLM y también las aplicaciones verticales están cambiando muy rápidamente», dijo Cochran. «Así que tomamos nuestro hardware, que es bueno para todo esto, ajustamos nuestro software para asegurarnos de que podemos soportar los modelos de manera óptima y aprovechamos esas posibilidades, porque el espacio de posibilidades está cambiando muy rápidamente».
![Diagrama de consumo de energía del esperanto ET-SoC-1](https://www.eetimes.com/wp-content/uploads/Esperanto-benchmarks.jpg?w=640&is-pending-load=1#038;resize=640%2C305)
Esperanto ha optimizado su kit de desarrollo de software (SDK) de IA para manejar de manera eficiente la partición de capas LLM y está experimentando con versiones OPT con hasta 30 mil millones de parámetros con planes de escalar a versiones más grandes y otros modelos, incluido Llama.
El segundo nuevo enfoque del esperanto es la HPC.
Si bien existe una superposición cada vez mayor entre las cargas de trabajo de IA y HPC, Esperanto cree que si bien requieren cadenas de herramientas de software separadas, el mismo hardware debería poder manejar ambas cargas de trabajo.
El CTO de esperanto, Dave Ditzel, dijo en un evento reciente de RISC-V en Barcelona, España, que RISC-V es la opción obvia para AI y HPC.
«Creemos que RISC-V no sólo es la mejor opción, sino también la única opción lógica», afirmó Ditzel. “Cuando piensas en construir grandes sistemas para el futuro, no hay muchas alternativas. X86 es demasiado pesado para servir como CPU principal y acelerador. Las GPU son demasiado difíciles de programar y realmente no pueden servir como CPU principal. Sólo RISC-V puede hacer ambas cosas”.
Las oportunidades en los segmentos de IA y HPC son perfectas para las ofertas RISC-V con el software adecuado, añadió.
«La gran pregunta es: ¿Cómo podemos facilitar la programación de estas máquinas?», dijo. “Aquí es donde RISC-V realmente ofrece una oportunidad. Creemos que RISC-V se encuentra en una posición única que nos permite construir el mejor sistema convergente de HPC y ML”.
tarjeta PCIe
Hasta ahora, el esperanto ha apuntado a acelerar las recomendaciones, que generalmente se han limitado a los centros de datos de los hiperescaladores que brindan compras en línea y predicciones de noticias en las redes sociales. Para este mercado, la compañía había planeado previamente una tarjeta M.2 dual compatible con OCP Glacier Point y operaba su chip dentro de este rango de potencia de 20 W. El cambio de enfoque hacia la IA generativa y HPC requirió el desarrollo de una solución rentable. Tarjeta PCIe de perfil. Pero pasar al factor de forma PCIe significa que el consumo de energía puede ser mayor, hasta 40 o 50 W si es necesario, aunque normalmente ronda los 25 W, dijo Cochran.
![Tarjeta PCIe esperanto ET-SoC-1](https://www.eetimes.com/wp-content/uploads/Esperanto-PCIe-card.jpg?w=572&is-pending-load=1#038;resize=572%2C245)
“Planeamos hacer ambas cosas [M.2 cards and PCIe cards], pero al final hicimos todo lo posible por PCIe”, afirmó Cochran. «Eso no significa que no ofreceremos tarjetas M.2 si los clientes muestran interés en ellas».
![La pila de software de IA en esperanto](https://www.eetimes.com/wp-content/uploads/Esperanto-software-stack.jpg?w=300&is-pending-load=1#038;resize=300%2C220)
Desarrollada por Penguin Solutions, la tarjeta PCIe de producción de Esperanto cuenta con 32 GB de memoria LPDDR4x. Como sistema de evaluación, la empresa construyó un servidor de 2U que puede acomodar ocho o 16 tarjetas PCIe. Este sistema de CPU host dual Intel Xeon puede proporcionar hasta 16.000 núcleos de CPU RISC-V por servidor. Un rack de centro de datos con 20 servidores esperanto puede suministrar alrededor de 320.000 núcleos.
pilas de software
El esperanto tiene dos pilas de software: una para IA y otra para HPC.
![Pila de software HPC de esperanto](https://www.eetimes.com/wp-content/uploads/Esperanto-general-purpose-SDK.jpg?w=300&is-pending-load=1#038;resize=300%2C245)
La pila de software de IA existente se basa en Glow, el compilador de IA de código abierto de Meta, que acepta modelos en formato PyTorch u ONNX y genera código RISC-V ejecutable. También hay un motor de ejecución diseñado para hardware de esperanto. El esperanto ha demostrado que el LLM, la visión por computadora (reconocimiento/segmentación) y los modelos de recomendación funcionan sobre esta pila.
Una nueva pila de software orientada a HPC, que en esperanto llama Kit de desarrollo de software de uso general (GP-SDK), permite la programación directa de los núcleos 1024 ET Minion y sus unidades vectoriales/tensoriales para cálculos masivos en paralelo. Se ejecuta una cadena de herramientas estándar de C++ en el host x86; Los usuarios escriben su propia aplicación que llama al tiempo de ejecución de esperanto para controlar el chip. La cadena de herramientas RISC-V GCC se utiliza para compilar el código del kernel utilizando bibliotecas y empaquetadores de esperanto.
Segunda generación
Esperanto está planeando un chip de segunda generación (ET-SoC-2), que Ditzel dijo en su presentación incluirá más funciones centradas en HPC.
Este chip ya está en desarrollo con un cliente clave. Será totalmente compatible con la nueva especificación vectorial RISC-V, dijo Ditzel, con el objetivo de lograr un rendimiento FP64 de al menos 10 TFLOPS por chip (se agregará soporte FP64 y FP32 para todos los núcleos para la segunda generación). El chip de segunda generación utilizará HBM en lugar de la memoria LPDDR utilizada por la primera generación.
![Servidores de esperanto en un rack](https://www.eetimes.com/wp-content/uploads/Esperanto-Rack.jpg?w=227&is-pending-load=1#038;resize=227%2C300)
«En nuestra opinión, RISC-V ahora está lo suficientemente maduro y listo para iniciar la revolución del futuro aprendizaje automático combinado y HPC», afirmó Ditzel. «Una última predicción: con lo que estamos haciendo y lo que vemos que otros hacen, un sistema basado en RISC-V ganará un premio Green500 en los próximos cinco años». [for energy efficiency in supercomputers]. Nuestro objetivo es lograr esto con hardware de esperanto y acogemos con agrado el desafío de todos los que quieran construir otros sistemas”.
Actualmente, Esperanto suministra servidores de evaluación a clientes comerciales y ofrece un programa de acceso a la nube. Entre los clientes se incluyen varias empresas de Fortune 100, dijo Cochran, y señaló que existe interés tanto en el espacio de la IA como en el de la HPC. La empresa también otorga licencias de propiedad intelectual a socios estratégicos seleccionados.
[ad_2]