Revolucionando el diseño de matrices múltiples con la interfaz de memoria universal (UMI)

Este artículo es parte de TechXchange: Chiplets: conocimientos sobre automatización del diseño electrónico.

Lo que vas a aprender:

• ¿Cuáles son los desafíos actuales a la hora de incorporar suficiente HBM en el diseño de matrices múltiples?
• Cómo una nueva tecnología de interconexión puede resolver los problemas de potencia, tamaño y rendimiento que podrían obstaculizar una adopción más amplia de diseños basados ​​en chiplets, incluido lograr el rendimiento requerido sin la necesidad de un empaquetado avanzado.
• ¿Promete una nueva solución de interconexión de memoria llamada Universal Memory Interface (UMI) superar el creciente “muro de la memoria”?

A medida que avanzamos hacia la era de la IA generativa, está ocurriendo rápidamente una cruel ironía: si bien las mejoras en el rendimiento del procesador para permitir las increíbles demandas informáticas de aplicaciones como ChatGPT están acaparando todos los titulares, un fenómeno no tan nuevo llamado La Memoria Surgen riesgos de muro para deshacer este progreso. De hecho, se ha demostrado claramente que a medida que aumenta el rendimiento de la CPU/GPU, la latencia de la memoria también aumenta, impidiendo que los procesadores se utilicen por completo.

Dado que el número de parámetros en el modelo de IA generativa ChatGPT-4 se acerca a los 1,4 billones, la inteligencia artificial ha traspasado directamente el muro de la memoria. Otras aplicaciones de alto rendimiento no se quedan atrás. La velocidad a la que las GPU y los aceleradores de IA pueden consumir parámetros ahora excede la velocidad a la que las estructuras de memoria jerárquicas, incluso en conjuntos de múltiples chips, pueden proporcionarlos. El resultado es un número cada vez mayor de ciclos inactivos mientras algunos de los semiconductores más caros del mundo esperan por la memoria.

Tradicionalmente se han utilizado tres enfoques para superar este cuello de botella. Lo más fácil de hacer, en los días en que la Ley de Moore era joven, era fabricar chips DRAM más rápidos con interfaces más rápidas. Hoy este pozo está seco. El segundo enfoque fue crear un camino más amplio entre la matriz de memoria, que puede producir miles de bits por ciclo en paralelo, y el chip del procesador. Con la interfaz de memoria de alto ancho de banda (HBM) de 1 kb de ancho, esto probablemente se ha llevado al límite práctico.

La tercera alternativa es utilizar el paralelismo por encima del nivel del chip. En lugar de una pila de chips HBM, utilice cuatro u ocho, cada uno en su propio bus de memoria. Esto permite al arquitecto del sistema ampliar no sólo la cantidad de memoria conectada directamente a un chip de procesamiento, sino también el ancho de banda entre la memoria y el chip informático.

Desafíos espaciales en los niveles SiP y Die

El problema es que este enfoque toca dos límites estrictos, los cuales afectan al sector inmobiliario. No hay espacio para más almacenamiento a nivel de sistema en paquete (SiP). Ya estamos llenando los intercaladores de silicio más grandes disponibles. Hacer espacio para más memoria significaría dejar de lado algunos chips informáticos.

Hay un problema diferente a nivel de chip. Los chips informáticos, ya sean CPU, GPU o aceleradores, son bienes inmuebles de primera calidad y normalmente se fabrican utilizando la tecnología de proceso más avanzada y costosa disponible. Los diseñadores quieren utilizar toda el área del troquel para el procesamiento de datos, no interfaces. Son reacios a renunciar a algo de ello o a su presupuesto energético por canales de memoria adicionales.

Entonces es un dilema. Los arquitectos necesitan el ancho de banda de memoria adicional y la capacidad que pueden proporcionar más canales de memoria. Sin embargo, en los intercaladores de silicio están fuera de rango. Y los diseñadores de computadoras no quieren ceder más espacio para las interfaces.

Por suerte, hay una solución.

Presentamos la interfaz de memoria universal

En particular, una nueva propuesta que aprovecha tecnología probada puede aliviar las preocupaciones de espacio tanto a nivel de sustrato como de chip. Y esto, a su vez, puede resolver el cuello de botella del almacenamiento. Esta tecnología es la Interfaz de Memoria Universal (UMI).