[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
En la Cumbre de hardware de IA en Santa Clara, California, los ejecutivos de SambaNova Systems presentaron nuevos chips y hablaron sobre la oferta de la compañía para admitir Foundation Models, un tipo de modelo de lenguaje grande que se puede personalizar para múltiples tareas.
La próxima generación de sistemas a escala de rack SambaNova está impulsada por una versión de segunda generación de la RDU de flujo optimizado de la compañía. Cardinal SN30 RDU presenta un chip de cómputo más grande con 86 mil millones de transistores por chiplet en el mismo nodo de proceso TSMC de 7 nm, y la memoria en el chip se ha duplicado a 640 MB. El resultado es un procesador de 688 TFLOPS (BF16) diseñado para modelos grandes. El paquete incluye dos chipsets de cómputo y 1 TB de memoria DDR de conexión directa (no HBM). El resultado es hasta 6 veces el rendimiento de los sistemas de primera generación.
Este dispositivo impulsará las nuevas generaciones de servidores SambaNova DataScale para entrenamiento, inferencia y ajuste fino de IA y se entregará como sistemas a escala de rack.
En la feria, Kunle Olukotun, CTO y cofundador de SambaNova, presentó la aplicación revolucionaria para estos sistemas de última generación: los modelos Foundation.
“Estamos entrando en una nueva era de IA, y está habilitada por modelos fundamentales”, dijo.
El término «Modelo de Fundación» fue acuñado en el Centro de Investigación de Modelos de Fundación de Stanford. Se refiere a un tipo especial de modelo de lenguaje grande. Si el modelo base se entrena con datos suficientemente diversos en cantidades suficientemente grandes, se puede adaptar para realizar múltiples tareas basadas en el idioma, que posiblemente incluyan tareas tan diversas como responder preguntas, resumir y analizar opiniones.
«Esto hace estallar por completo el modelo tradicional de aprendizaje automático centrado en tareas que hemos usado antes, donde cada tarea tenía un modelo específico en el que se entrenaba», dijo Olukotun. «Con los modelos básicos, puede tomar un solo modelo y adaptarlo a la tarea en cuestión, [allowing you to] Reemplace miles de modelos específicos de tareas individuales con un solo modelo, lo que significa que es más fácil de administrar y es mucho más fácil adaptar sus habilidades de IA a nuevas tareas”.
El tamaño de los modelos fundamentales, que normalmente contienen más de 10 000 millones de parámetros, plantea desafíos para las empresas que desean utilizarlos.
“Es muy difícil agregar realmente los recursos de hardware y programar correctamente el software, obtener la experiencia de aprendizaje automático para entrenarlo correctamente y luego implementarlo, mantener y hacer el entrenamiento y la inferencia y la gestión constante de esos modelos”, dijo Rodrigo. Liang, cofundador y director ejecutivo de SambaNova.
Con la tecnología actual, entrenar modelos fundamentales desde cero puede llevar meses, pero SambaNova tiene la intención de acortar esto entregando sus modelos pre-entrenados junto con hardware que permite a las empresas modificar estos modelos utilizando sus propios datos privados para garantizar la precisión de las tareas a mejorar. para lo cual el cliente utilizará el modelo.
SambaNova tiene en términos generales dos ofertas. El primero es la infraestructura DataScale: bastidores de servidores equipados con el hardware de SambaNova y la pila de software asociada. Esto es adecuado para organizaciones centradas en modelos, incluidos los mercados de capital, los clientes farmacéuticos y de HPC. El segundo es Dataflow-as-a-Service: los mismos racks de servidor más software más modelos base preentrenados que los clientes pueden ajustar e implementar en el hardware. Esto está destinado a empresas centradas en datos que no desean dedicar tiempo y esfuerzo a crear y mantener sus propios modelos. SambaNova administra los modelos en nombre del cliente, pero una vez ajustado, ese modelo es único para ese cliente.
Los sistemas SambaNova ya están instalados en el Laboratorio Nacional Lawrence Livermore (LLNL), y el laboratorio anunció que se está actualizando a la próxima generación.
«Esperamos poder ofrecer un sistema multirack más grande de la próxima generación de sistemas DataScale de SambaNova», dijo Bronis de Supinski, CTO de Livermore Computing en LLNL. “La integración de esta solución con los clústeres tradicionales de nuestro centro permitirá que la tecnología tenga un impacto programático más profundo. Esperamos un aumento de 2x a 6x en el rendimiento, ya que el nuevo sistema DataScale promete mejorar significativamente la velocidad, el rendimiento y la productividad en general”.
Argonne National Labs también está proporcionando un sistema multirack de este sistema de próxima generación en el banco de pruebas de IA de ALCF, donde se puede probar para una variedad de casos de uso.
[ad_2]