A medida que los científicos amplían las fronteras del aprendizaje automático, el tiempo, la energía y el dinero necesarios para entrenar modelos de redes neuronales cada vez más complejos se disparan. Una nueva área de inteligencia artificial llamada aprendizaje profundo analógico promete cálculos más rápidos utilizando una fracción de la energía.
Las resistencias programables son los bloques de construcción clave en el aprendizaje profundo analógico, al igual que los transistores son los elementos centrales de los procesadores digitales. Mediante la repetición de matrices de resistencias programables en capas complejas, los investigadores pueden crear una red de «neuronas» y «sinapsis» artificiales analógicas que realizan cálculos como una red neuronal digital. Luego, esta red se puede entrenar para realizar tareas complejas de IA, como el reconocimiento de imágenes y el procesamiento del lenguaje natural.
Un equipo multidisciplinario de investigadores del MIT se dispuso a superar los límites de velocidad de un tipo de sinapsis analógica artificial que habían diseñado previamente. Utilizaron un material inorgánico conveniente en el proceso de fabricación que permite que sus dispositivos funcionen 1 millón de veces más rápido que las versiones anteriores, que también es aproximadamente 1 millón de veces más rápido que las sinapsis en el cerebro humano.
Además, este material inorgánico también hace que la resistencia sea extremadamente eficiente desde el punto de vista energético. A diferencia de los materiales utilizados en la versión anterior de su dispositivo, el nuevo material es compatible con las técnicas de fabricación de silicio. Este cambio ha permitido la fabricación de dispositivos a escala nanométrica y podría allanar el camino para la integración en hardware informático comercial para aplicaciones de aprendizaje profundo.
«Con este hallazgo clave y las poderosas técnicas de nanofabricación que tenemos en MIT.nano, pudimos juntar estas piezas y demostrar que estos dispositivos son inherentemente muy rápidos y funcionan a voltajes razonables», dice el autor principal Jesús A. del Alamo. , el profesor Donner en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT. «Este trabajo realmente ha llevado estos dispositivos a un punto en el que ahora parecen realmente prometedores para futuras aplicaciones».
“El mecanismo de trabajo del dispositivo es la inserción electroquímica del ion más pequeño, el protón, en un óxido aislante para modular su conductividad electrónica. Dado que estamos trabajando con dispositivos muy delgados, podríamos acelerar el movimiento de este ion mediante el uso de un fuerte campo eléctrico y llevar estos dispositivos iónicos al régimen de operación de nanosegundos”, explica la autora principal Bilge Yildiz, profesora Breene M. Kerr en los Departamentos de Ciencia e Ingeniería Nuclear y Ciencia e Ingeniería de Materiales.
«El potencial de acción en las células biológicas sube y baja en una escala de tiempo de milisegundos porque la diferencia de voltaje de aproximadamente 0,1 voltios está limitada por la estabilidad del agua», dice el autor principal Ju Li, profesor de ciencia e ingeniería nuclear de Battelle Energy Alliance y profesor para ciencia e ingeniería de materiales: «Aquí colocamos hasta 10 voltios sobre una película de vidrio sólido especial con un espesor de nanoescala, que conduce protones sin dañarlos permanentemente. Y cuanto más fuerte es el campo, más rápidos son los dispositivos iónicos”.
Estas resistencias programables aumentan en gran medida la velocidad a la que se entrena una red neuronal al tiempo que reducen drásticamente el costo y el consumo de energía para realizar ese entrenamiento. Esto podría ayudar a los científicos a desarrollar modelos de aprendizaje profundo mucho más rápido, que luego podrían usarse en aplicaciones como automóviles autónomos, detección de fraudes o análisis de imágenes médicas.
“Una vez que tenga un procesador analógico, ya no entrenará redes en las que todos los demás están trabajando. Entrenará redes de una complejidad sin precedentes que nadie más puede permitirse y, por lo tanto, las superará con creces. En otras palabras, este no es un automóvil más rápido, es una nave espacial”, agrega el autor principal y postdoctorado del MIT, Murat Onen.
Los coautores incluyen a Frances M. Ross, profesora de Ellen Swallow Richards en el Departamento de Ciencia e Ingeniería de Materiales; los posdoctorados Nicolas Emond y Baoming Wang; y Difei Zhang, estudiante de posgrado de EECS. El estudio se publica hoy en Ciencias.
Acelere el aprendizaje profundo
El aprendizaje profundo analógico es más rápido y más eficiente energéticamente que su contraparte digital por dos razones principales. “Primero, el cálculo se realiza en la memoria, por lo que no se transfieren enormes cantidades de datos de la memoria al procesador.” Los procesadores analógicos también realizan operaciones en paralelo. Cuando se amplía el tamaño de la matriz, un procesador analógico no necesita más tiempo para completar nuevas operaciones porque todos los cálculos se realizan simultáneamente.
El elemento clave de la nueva tecnología de procesador analógico del MIT se conoce como resistencia programable protónica. Estas resistencias, medidas en nanómetros (un nanómetro es la milmillonésima parte de un metro), están dispuestas en una matriz como un tablero de ajedrez.
En el cerebro humano, el aprendizaje ocurre debido al fortalecimiento y debilitamiento de las conexiones entre las neuronas llamadas sinapsis. Las redes neuronales profundas han adoptado durante mucho tiempo esta estrategia, donde los pesos de la red se programan mediante algoritmos de entrenamiento. En el caso de este nuevo procesador, aumentar y disminuir la conductividad eléctrica de las resistencias de protones permite el aprendizaje automático analógico.
La conductividad está controlada por el movimiento de los protones. Para aumentar la conductividad, se empujan más protones en un canal en la resistencia, mientras que para disminuir la conductividad, se extraen protones. Esto se logra mediante un electrolito (similar al de una batería) que conduce protones pero bloquea electrones.
Con el fin de desarrollar una resistencia de protones programable superrápida y extremadamente eficiente desde el punto de vista energético, los investigadores buscaron diferentes materiales para el electrolito. Mientras que otros dispositivos usaban compuestos orgánicos, Onen se centró en el vidrio de silicato de fósforo inorgánico (PSG).
PSG es básicamente dióxido de silicio, el desecante en polvo que se encuentra en bolsitas diminutas que vienen en la caja de muebles nuevos para ayudar a eliminar la humedad. Se estudia como conductor de protones en condiciones de humedad para pilas de combustible. También es el óxido más conocido utilizado en el procesamiento de silicio. Para hacer PSG, se agrega una pequeña cantidad de fósforo al silicio para darle propiedades especiales para la conducción de protones.
Onen planteó la hipótesis de que un PSG optimizado podría exhibir una alta conductividad de protones a temperatura ambiente sin agua, lo que lo convierte en un electrolito sólido ideal para esta aplicación. Él estaba en lo correcto.
Velocidad sorprendente
PSG permite el movimiento ultrarrápido de protones porque contiene una multitud de poros de tamaño nanométrico cuyas superficies proporcionan vías para la difusión de protones. También soporta campos eléctricos pulsados muy fuertes. Esto es crucial, explica Onen, porque aplicar más voltaje al dispositivo permite que los protones se muevan a velocidades deslumbrantes.
“La velocidad fue ciertamente sorprendente. Normalmente, no crearíamos campos tan extremos en los dispositivos para evitar convertirlos en cenizas. Pero en cambio, los protones se desplazaron a través de la pila del dispositivo a velocidades inmensas, específicamente millones de veces más rápido en comparación con lo que teníamos antes. Y este movimiento no hace daño, gracias al pequeño tamaño y poca masa de los protones. Es casi como la teletransportación», dice.
«La escala de tiempo de nanosegundos significa que, bajo un campo tan extremo, nos estamos acercando al régimen de tunelización balística o incluso cuántica para el protón», agrega Li.
Debido a que los protones no dañan el material, la resistencia puede sobrevivir millones de ciclos sin romperse. Este nuevo electrolito permitió una resistencia de protones programable que es millones de veces más rápida que su dispositivo anterior y puede operar de manera efectiva a temperatura ambiente, lo cual es importante para la integración en el hardware de la computadora.
Gracias a las propiedades aislantes de PSG, casi no fluye corriente eléctrica a través del material cuando los protones se mueven. Esto hace que el dispositivo sea extremadamente eficiente desde el punto de vista energético, añade One.
Ahora que han demostrado la efectividad de estos resistores programables, los investigadores planean rediseñarlos para la producción en masa, dice del Alamo. Luego, pueden estudiar las propiedades de las matrices de resistencias y escalarlas para que puedan integrarse en los sistemas.
Al mismo tiempo, planean estudiar los materiales para eliminar los cuellos de botella que limitan el voltaje requerido para transferir eficientemente los protones hacia, a través y fuera del electrolito.
«Otra dirección emocionante que estos dispositivos iónicos pueden permitir es el hardware de baja potencia para emular los circuitos neuronales y las reglas de plasticidad sináptica derivadas de la neurociencia más allá de las redes neuronales profundas analógicas. Ya hemos iniciado una colaboración de este tipo con la neurociencia, con el apoyo de MIT Quest for Intelligence”, añade Yildiz.
“La colaboración que tenemos será fundamental para la innovación en el futuro. El camino a seguir seguirá siendo muy desafiante pero también muy emocionante al mismo tiempo”, dijo Del Alamo.
“Las reacciones de intercalación, como las que se encuentran en las baterías de iones de litio, se han estudiado ampliamente para los dispositivos de almacenamiento. Este trabajo muestra que los dispositivos de memoria basados en protones ofrecen una velocidad de conmutación y una resistencia impresionantes y sorprendentes», dijo William Chueh, profesor asociado de ciencia e ingeniería de materiales en la Universidad de Stanford, que no participó en esta investigación. «Sienta las bases para una nueva clase de dispositivos de almacenamiento que admitan algoritmos de aprendizaje profundo».
“Este trabajo demuestra un gran avance en los dispositivos de memoria resistiva de inspiración biológica. Estos dispositivos de protones de estado sólido se basan en un exquisito control de protones a escala atómica, similar a las sinapsis biológicas, pero mucho más rápido”, dice Elizabeth Dickey, profesora distinguida de Teddy & Wilton Hawkins y directora del Departamento de Ciencia e Ingeniería de Materiales de Universidad Carnegie Mellon, que no participó en este trabajo. «Felicito al equipo interdisciplinario del MIT por este emocionante desarrollo que habilitará los dispositivos informáticos de próxima generación».
Esta investigación está financiada en parte por el MIT-IBM Watson AI Lab.
