[ad_1]
Las redes neuronales artificiales, modelos ubicuos de aprendizaje automático que pueden entrenarse para realizar muchas tareas, se llaman así porque su arquitectura está inspirada en la forma en que las neuronas biológicas procesan la información en el cerebro humano.
Hace unos seis años, los científicos descubrieron un nuevo tipo de modelo de red neuronal más potente llamado transformador. Estos modelos pueden lograr un rendimiento sin precedentes, por ejemplo, generando texto a partir de indicaciones con una precisión casi humana. Por ejemplo, un transformador subyace a sistemas de inteligencia artificial como ChatGPT y Bard. Aunque increíblemente efectivos, los transformadores también son enigmáticos: a diferencia de otros modelos de redes neuronales inspirados en el cerebro, no estaba claro cómo se construirían a partir de componentes biológicos.
Ahora investigadores del MIT, el MIT-IBM Watson AI Lab y la Escuela de Medicina de Harvard han presentado una hipótesis que podría explicar cómo se podría construir un transformador utilizando elementos biológicos en el cerebro. Proponen que una red biológica de neuronas y otras células cerebrales llamadas astrocitos podría realizar los mismos cálculos básicos que un transformador.
Investigaciones recientes han demostrado que los astrocitos, células no neuronales que abundan en el cerebro, se comunican con las neuronas y desempeñan un papel en algunos procesos fisiológicos, como la regulación del flujo sanguíneo. Sin embargo, los científicos aún carecen de una comprensión clara de qué hacen estas células computacionalmente.
Con el nuevo estudio, publicado esta semana en formato de acceso abierto en el procedimientos de la Academia Nacional de CienciasLos investigadores examinaron el papel de los astrocitos en el cerebro desde un punto de vista computacional y crearon un modelo matemático que muestra cómo podrían usarse junto con las neuronas para construir un transformador biológicamente plausible.
Su hipótesis proporciona conocimientos que podrían impulsar futuras investigaciones neurocientíficas sobre cómo funciona el cerebro humano. Al mismo tiempo, podría ayudar a los investigadores del aprendizaje automático a explicar por qué los transformadores tienen tanto éxito en una variedad de tareas complejas.
«El cerebro es muy superior incluso a las mejores redes neuronales artificiales que hemos desarrollado, pero no sabemos exactamente cómo funciona. Tiene valor científico pensar en las conexiones entre el hardware biológico y las grandes redes de inteligencia artificial. Esto es neurociencia para la IA e IA para la neurociencia”, afirma Dmitry Krotov, investigador del MIT-IBM Watson AI Lab y autor principal del artículo de investigación.
Junto a Krotov en el trabajo se encuentran el autor principal Leo Kozachkov, investigador postdoctoral en el departamento de Ciencias Cognitivas y Cerebrales del MIT; y Ksenia V. Kastanenka, profesora asistente de neurobiología en la Facultad de Medicina de Harvard e investigadora asistente en el Instituto de Investigación General de Massachusetts.
Una imposibilidad biológica se vuelve plausible
Los transformadores funcionan de manera diferente a otros modelos de redes neuronales. Por ejemplo, una red neuronal repetitiva entrenada para el procesamiento del lenguaje natural compararía cada palabra de una oración con un estado interno determinado por las palabras anteriores. Un transformador, por otro lado, compara todas las palabras de la oración a la vez para generar una predicción, un proceso llamado autoconciencia.
Para que la autoconciencia funcione, el transformador debe tener todas las palabras en algún tipo de memoria, explica Krotov. Sin embargo, esto no parecía biológicamente posible debido a la forma en que se comunican las neuronas.
Pero hace unos años, los científicos que estudiaban un modelo ligeramente diferente de aprendizaje automático (conocido como memoria densa asociada) se dieron cuenta de que este mecanismo de autoconciencia podría ocurrir en el cerebro, pero solo si había comunicación entre al menos tres neuronas.
«El número tres realmente me vino a la mente porque en neurociencia se sabe que estas células, que se llaman astrocitos y no son neuronas, forman conexiones triples con las neuronas, llamadas sinapsis tripartitas», dice Kozachkov.
Cuando dos neuronas se comunican, una neurona presináptica envía sustancias químicas llamadas neurotransmisores a través de la sinapsis, que la conecta con una neurona postsináptica. A veces, también se le asocia un astrocito: envuelve un tentáculo largo y delgado alrededor de la sinapsis, formando así una sinapsis tripartita (tripartita). Un astrocito puede formar millones de sinapsis tripartitas.
El astrocito recoge algunos neurotransmisores que fluyen a través de la unión sináptica. Con el tiempo, el astrocito puede enviar una señal a las neuronas. Debido a que los astrocitos funcionan en una escala de tiempo mucho más larga que las neuronas (generan señales aumentando y luego disminuyendo lentamente su respuesta al calcio), estas células pueden almacenar e integrar la información que les comunican las neuronas. De esta manera, los astrocitos pueden crear una especie de amortiguador de memoria, afirma Krotov.
«Si lo miras desde esa perspectiva, entonces los astrocitos son extremadamente naturales para los cálculos que necesitamos para realizar la operación de atención en los transformadores», añade.
Estructura de una red neurona-astrocítica.
Con este hallazgo, los investigadores plantearon la hipótesis de que los astrocitos podrían desempeñar un papel en la forma en que calculan los transformadores. Luego se propusieron crear un modelo matemático de una red neuronal-astrocítica que funcionaría como un transformador.
Tomaron las matemáticas nucleares que componen un transformador y desarrollaron modelos biofísicos simples de lo que hacen los astrocitos y las neuronas cuando se comunican en el cerebro, basándose en una inmersión profunda en la literatura y la guía de colaboradores neurocientíficos.
Luego combinaron los modelos de maneras específicas hasta que dieron con una ecuación de una red neuronal-astrocítica que describe la autoconciencia de un transformador.
“A veces descubrimos que ciertas cosas que queríamos que fueran ciertas no se podían implementar de manera plausible. Así que tuvimos que pensar en soluciones alternativas. Hay algunas cosas en el trabajo que son aproximaciones muy cuidadosas a la arquitectura del transformador para poder adaptarla de forma biológicamente plausible», afirma Kozachkov.
A través de su análisis, los investigadores demostraron que su red biofísica de neuronas y astrocitos es teóricamente equivalente a un transformador. Además, realizaron simulaciones numéricas alimentando imágenes y fragmentos de texto en modelos transformadores y comparando las respuestas con las de su red neuronal-astrocítica simulada. Ambos reaccionaron de manera similar a las solicitudes y confirmaron su modelo teórico.
«Los astrocitos son una de las células del cerebro más abundantes pero poco estudiadas y han permanecido eléctricamente silenciosas durante más de un siglo de registros cerebrales. «El potencial para liberar la potencia informática de la otra mitad de nuestro cerebro es enorme», afirma Konstantinos Michmizos, profesor asociado de informática en la Universidad de Rutgers, que no participó en este trabajo. «Este estudio abre un circuito iterativo intrigante desde la comprensión de cómo el comportamiento inteligente puede realmente surgir en el cerebro hasta la traducción de hipótesis disruptivas en nuevas herramientas que exhiben una inteligencia similar a la humana».
El siguiente paso para los investigadores es el salto de la teoría a la práctica. Esperan poder comparar las predicciones del modelo con las observadas en experimentos biológicos y utilizar este conocimiento para refinar o potencialmente refutar su hipótesis.
Además, su estudio sugiere que los astrocitos pueden estar involucrados en la memoria a largo plazo, ya que la red necesita almacenar información para poder actuar en consecuencia en el futuro. Más investigaciones podrían explorar más esta idea, dice Krotov.
“Por muchas razones, los astrocitos son extremadamente importantes para la cognición y el comportamiento, y su funcionamiento es fundamentalmente diferente al de las neuronas. Mi mayor esperanza para este artículo es que avance en un conjunto de investigaciones en neurociencia computacional sobre células gliales y astrocitos en particular”, añade Kozachkov.
Esta investigación fue apoyada en parte por la Fundación BrightFocus y los Institutos Nacionales de Salud.
[ad_2]