[ad_1]
//php echo do_shortcode(‘[responsivevoice_button voice=»US English Male» buttontext=»Listen to Post»]’) ?>
La inteligencia artificial agrega una nueva capa de inteligencia a sistemas tan dispares como una supercomputadora que trabaja para descubrir nuevas drogas, un teléfono celular que aplica filtros que favorecen la cara a su cámara y nodos IoT que analizan los datos de los sensores sin tener que enviarlos a la nube. El resultado para la industria de los semiconductores es una importancia cada vez mayor de las técnicas para ejecutar la IA de manera más eficiente en el hardware existente, nuevos tipos de chips para aceleración heterogénea y tecnologías futuristas que pueden satisfacer la demanda cada vez mayor de IA para potencia informática.
Estas son algunas de las tendencias específicas de IA que esperamos que comiencen o continúen en los próximos años.
Los transformadores toman el control
Las redes de transformadores se han utilizado ampliamente para el procesamiento del lenguaje natural durante algún tiempo, con resultados impresionantes. Los modelos de lenguaje grande (LLM) de hoy se pueden usar para ejecutar chatbots, responder preguntas y escribir ensayos, y el texto que producen a menudo es indistinguible de lo que podría haber escrito un ser humano. Estas redes utilizan una técnica llamada atención para estudiar las relaciones entre palabras en una oración o párrafo. El problema es que para comprender verdaderamente el lenguaje, los LLM deben considerar las relaciones entre palabras que están más separadas en el texto. El resultado es que el tamaño de los modelos de transformadores está aumentando rápidamente, al igual que las computadoras necesarias para entrenarlos. Se estimó que entrenar a GPT-3 costaría millones de dólares, es decir, entrenar un modelo una vez. A pesar de los enormes costos, la demanda de poder de cómputo acelerado de las redes de transformadores no se está desacelerando. Los límites económicos o prácticos sobre el tamaño del transformador, si los hay, aún no se han identificado, y mucho menos alcanzado.
Los transformadores se utilizan cada vez más para diversas aplicaciones. Estos incluyen Vision Transformers, que buscan relaciones entre diferentes matrices de píxeles en una imagen. También sirven como una especie de paso intermedio para enseñar redes neuronales áreas de la ciencia o la industria lingüísticamente descriptibles. La idea es bastante simple: ¿necesita usar IA para descubrir asociaciones entre las drogas y sus efectos secundarios? Los LLM se pueden capacitar utilizando datos de revistas y artículos médicos, luego solo haga su pregunta y espere la respuesta. En teoría, cualquier faceta del conocimiento humano para la que existan datos lingüísticos no estructurados significativos (libros o textos académicos) sería aplicable aquí, aunque los escépticos señalan que no todo el conocimiento humano puede representarse mediante el lenguaje. Sin embargo, la técnica es ciertamente poderosa.
Cualquier convergencia a las topologías de redes neuronales que actualmente parece probable para los transformadores, por supuesto, facilitará las cosas para los fabricantes de chips. Las características de aceleración específicas del transformador ya están apareciendo en chips como el H100 de Nvidia y seguirán apareciendo.
Ahorro inteligente
Sparsity es un concepto inspirado en el cerebro con aplicaciones prácticas en la aceleración de IA. Si una red neuronal es escasa, significa que un número significativo de sus parámetros son cero. Algunos tipos de redes son más dispersos que otros, pero en general es bastante común un alto nivel de escasez. Las implicaciones para los aceleradores de IA son que si multiplicamos dos números y uno de los números es cero, ya sabemos que la respuesta será cero. Si podemos omitir este cálculo yendo directamente a la respuesta, podemos ahorrar tiempo y esfuerzo.
Si bien suena simple, el alcance de la escasez es complejo y bastante inmaduro. La poda, o las técnicas de software que eliminan las ramas de la red neuronal aguas abajo o cerca de ceros para reducir el tamaño de la red, son bien conocidas, pero a menudo requieren un ajuste manual que requiere mucho tiempo. Están surgiendo técnicas automatizadas para explotar la escasez de grano más fino, y deberíamos esperar ver formas más inteligentes de explotar la escasez también en el diseño de chips.
fichas para todos
La aceleración de la IA ha sido uno de los principales impulsores de la computación heterogénea en los últimos años, y esta tendencia seguramente continuará a medida que la Ley de Moore se desacelera. La computación heterogénea se refiere a la técnica de diseño de sistemas de agregar aceleradores para cargas de trabajo específicas a hardware de computación más general, como CPU, ya sea como chips separados o como bloques en un SoC. Esta tendencia es evidente en el centro de datos, pero los SoC de punto final para todo, desde electrodomésticos hasta teléfonos celulares, ahora tienen bloques especiales dedicados a la aceleración de IA.
Los chipsets son una tecnología básica importante para chips grandes como los que se utilizan en los centros de datos. Los chiplets permiten la construcción de chips enormes al conectar múltiples chips de tamaño de retícula similar a través de un intercalador de silicio, pero también permiten cálculos heterogéneos al permitir la interconexión de CPU, memoria y troqueles de acelerador de alto ancho de banda. Las tecnologías de chipset están madurando y continuarán haciéndolo durante los próximos dos años a medida que chips como el Ponte Vecchio de Intel lleguen al mercado.
Llevando la luz a la oscuridad de la fotónica
La maduración de las tecnologías de fabricación y proceso para la fotónica de silicio permite un paradigma informático completamente nuevo: la informática óptica. El intercambio de electrones y corriente eléctrica por fotones y ondas de luz tiene el potencial de crear computadoras ultrarrápidas. La luz viaja a través de guías de ondas de silicio como un cable, y el equivalente fotónico de las unidades de multiplicación y acumulación (MAC) ahora se puede construir de manera confiable a escala para fabricar chips de computadora de alta gama. Estas técnicas se han aplicado a chips para cargas de trabajo de IA que requieren un alto porcentaje de operaciones MAC a velocidades extremadamente altas. Las características interesantes incluyen la capacidad de hacer brillar la luz de diferentes longitudes de onda para realizar de manera efectiva múltiples inferencias simultáneamente para acelerar aún más las aplicaciones de IA.
Empresas como Lightmatter y Lightelligence han demostrado que se pueden superar los desafíos a nivel de sistema, incluido el empaquetado que integra chips eléctricos y fotónicos. Si bien estas dos empresas están más adelantadas, todavía hay empresas que ingresan a este espacio con nuevas ideas.
Computación inspirada en el cerebro
La computación neuromórfica se refiere a chips que utilizan una de varias técnicas inspiradas en el cerebro para crear dispositivos de consumo ultrabajo para tipos específicos de cargas de trabajo de IA.
Si bien «neuromórfico» se puede aplicar a cualquier chip que combine memoria y computación en un nivel fino de granularidad y aproveche la conectividad de muchos a muchos, se aplica más comúnmente a chips diseñados para procesar Spiking Neural Networks (SNN) y para acelerar . . Los SNN, que difieren de la IA convencional (aprendizaje profundo), copian el método del cerebro para procesar datos y comunicarse entre neuronas. Estas redes son extremadamente escasas y pueden habilitar chips de potencia ultrabaja.
Nuestra comprensión actual de la neurociencia sugiere que los picos viajan de una neurona a la siguiente, y la neurona realiza alguna forma de integración de los datos (más o menos análoga a la aplicación de pesos de redes neuronales) antes de disparar un pico a la siguiente neurona en el circuito. Los enfoques para replicar esto pueden codificar datos en amplitudes de pico y usar electrónica digital (BrainChip) o codificar datos en tiempo de picos y usar electrónica asíncrona digital (Intel Loihi) o analógica (Innatera).
A medida que estas tecnologías (y nuestra comprensión de la neurociencia) continúen madurando, veremos más empresas de chips inspiradas en el cerebro y una mayor integración entre la computación neuromórfica y la detección neuromórfica, donde seguramente se aprovecharán las sinergias. SynSense, por ejemplo, ya está trabajando con Inivation y Prophesee para combinar su chip neuromórfico con sensores de imagen basados en eventos.
[ad_2]