[ad_1]
En la búsqueda de un desarrollo más rápido y eficiente de los sistemas de IA, Intel, AMD y Nvidia lanzaron hoy un borrador de especificación para lo que denominan un formato de intercambio común para la IA. Aunque es voluntario, el estándar propuesto de «coma flotante de 8 bits (FP8)» tiene el potencial de acelerar el desarrollo de la IA al optimizar el uso de la memoria del hardware y tanto para el entrenamiento de la IA (es decir, el desarrollo de sistemas de IA) como para la inferencia (ejecutar el sistema).
Al desarrollar un sistema de IA, los científicos de datos se enfrentan a importantes decisiones técnicas que van más allá de la simple recopilación de datos para entrenar el sistema. Uno elige un formato para representar los pesos del sistema: los pesos son los factores aprendidos de los datos de entrenamiento que afectan las predicciones del sistema. Por ejemplo, los pesos permiten que un sistema como GPT-3 genere párrafos completos a partir de un indicador de una oración, o DALL-E 2 para crear retratos fotorrealistas a partir de una leyenda.
Los formatos comunes son Half Precision Floating Point o FP16, que usa 16 bits para representar los pesos del sistema, y Single Precision (FP32), que usa 32 bits. La mitad de precisión y menos reduce la cantidad de memoria requerida para entrenar y ejecutar un sistema de IA mientras acelera los cálculos e incluso reduce el ancho de banda y el consumo de energía. Pero sacrifican algo de precisión para obtener esas victorias; Después de todo, 16 bits son menos viables que 32 bits.
Sin embargo, muchos en la industria, incluidos Intel, AMD y Nvidia, están convergiendo alrededor de FP8 (8 bits) como el punto ideal. En una publicación de blog, Shar Narasimhan, gerente senior de marketing de productos del grupo en Nvidia, señala que el formato propuesto mencionado anteriormente, el FP8, tiene una «fidelidad comparable» con una precisión de 16 bits en todos los casos de uso, incluidos los sistemas de imagen y visión por computadora, y ofrece «significativamente» al mismo tiempo. aceleraciones.
Nvidia, Arm e Intel dicen que están haciendo su formato FP8 libre de regalías, en un formato abierto. Un libro blanco lo describe con más detalle; Narasimhan dice que las especificaciones se enviarán al IEEE, el organismo profesional que mantiene los estándares en una variedad de áreas técnicas, para su consideración en una fecha posterior.
«Creemos que un formato de intercambio común permitirá un progreso rápido y la interoperabilidad de las plataformas de hardware y software para impulsar la informática», dice Narasimhan.
El trío no está necesariamente presionando por la paridad por pura bondad de corazón. La arquitectura de tolva GH100 de Nvidia implementa FP8 de forma nativa, al igual que el conjunto de chips de entrenamiento Gaudi2 AI de Intel. Por su parte, se espera que AMD admita FP8 en su próxima APU Instinct MI300A.
Pero un formato común de FP8 también beneficiaría a competidores como SambaNova, Groq, IBM, Graphcore y Cerebras, todos los cuales han experimentado con FP8 o han adoptado alguna forma de FP8 para el desarrollo de sistemas. En una publicación de blog en julio de este año, el cofundador y CTO de Graphcore, Simon Knowles, escribió que «el advenimiento del punto flotante de 8 bits ofrece tremendos beneficios de rendimiento y eficiencia para el cómputo de IA», y afirmó que también es «una oportunidad» para el la industria se está decantando por un «estándar único y abierto» en lugar de lanzar una combinación de formatos competitivos.
[ad_2]