[ad_1]
El lenguaje natural transmite ideas, acciones, información e intenciones a través del contexto y la sintaxis; Además, grandes cantidades están contenidas en bases de datos. Esto lo convierte en una excelente fuente de datos para entrenar sistemas de aprendizaje automático. Dos estudiantes de maestría en ingeniería del Programa de Tesis MEng 6A del MIT, Irene Terpstra ’23 y Rujul Gandhi ’22, están trabajando con mentores en el Laboratorio de IA Watson del MIT-IBM para aprovechar este poder del lenguaje natural para construir sistemas de IA.
A medida que la informática avanza, los investigadores se esfuerzan por mejorar el hardware que la ejecuta. Esto significa innovaciones para producir nuevos chips de computadora. Y como ya existe literatura sobre las modificaciones que se pueden realizar para lograr ciertos parámetros y rendimiento, Terpstra y sus mentores y asesores Anantha Chandrakasan, decana de la Escuela de Ingeniería del MIT y profesora Vannevar Bush de Ingeniería Eléctrica e Informática e investigadora de IBM Xin Zhang desarrolla un algoritmo de inteligencia artificial que ayuda con el diseño de chips.
“Estoy creando un flujo de trabajo para analizar sistemáticamente cómo estos modelos de lenguaje pueden respaldar el proceso de diseño de circuitos. «¿Qué habilidades de pensamiento tienen y cómo pueden integrarse en el proceso de diseño de chips?», dice Terpstra. “Y por otro lado, si esto resulta lo suficientemente útil, [we’ll] Veamos si pueden diseñar ellos mismos automáticamente los chips y adjuntarlos a un algoritmo de aprendizaje por refuerzo”.
Con este fin, el equipo de Terpstra está creando un sistema de inteligencia artificial que puede iterar en diferentes diseños. Significa experimentar con varios modelos de lenguaje a gran escala previamente entrenados (como ChatGPT, Llama 2 y Bard), utilizando un lenguaje simulador de circuito de código abierto llamado NGspice que contiene los parámetros del chip en forma de código y un algoritmo de aprendizaje por refuerzo. Las indicaciones de texto permiten a los investigadores consultar cómo se debe cambiar el chip físico para lograr un objetivo específico en el modelo de lenguaje y crear instrucciones para realizar ajustes. Luego, esto se transfiere a un algoritmo de aprendizaje por refuerzo que actualiza el diseño del circuito y genera nuevos parámetros físicos del chip.
«El objetivo final sería combinar las habilidades de razonamiento y la base de conocimientos integradas en estos grandes modelos de lenguaje con el poder de optimización de los algoritmos de aprendizaje por refuerzo y permitirles diseñar el chip en sí», dice Terpstra.
Rujul Gandhi trabaja con el propio lenguaje crudo. Como estudiante en el MIT, Gandhi estudió lingüística e informática y las combinó en su trabajo de MEng. «Me interesa la comunicación, tanto entre personas como entre personas y ordenadores», dice Gandhi.
Los robots u otros sistemas interactivos de IA son un área donde se debe comprender la comunicación entre humanos y máquinas. Los investigadores suelen escribir instrucciones para robots utilizando lógica formal. Esto ayuda a garantizar que los comandos se sigan de forma segura y según lo previsto. Sin embargo, la lógica formal puede resultar difícil de entender para los usuarios, mientras que el lenguaje natural es fácil de entender. Para garantizar esta comunicación fluida, Gandhi y sus asesores Yang Zhang de IBM y el profesor asistente del MIT Chuchu Fan están construyendo un analizador que convierte instrucciones en lenguaje natural en un formato compatible con máquinas. El sistema de Gandhi aprovecha la estructura lingüística codificada por el modelo codificador-decodificador T5 previamente entrenado y un conjunto de datos de comandos básicos en inglés anotados para realizar tareas específicas e identifica las unidades lógicas más pequeñas u oraciones atómicas presentes en una instrucción determinada.
«Una vez que usted da la instrucción, el modelo identifica todas las subtareas más pequeñas que desea que realice», dice Gandhi. “Luego, utilizando un modelo de lenguaje grande, cada subtarea se puede comparar con las acciones y objetos disponibles en el mundo del robot, y si una subtarea no se puede realizar porque un objeto o acción en particular no se reconoce como no posible, el sistema puede detenerse inmediatamente. allí y pedir ayuda al usuario”.
Este enfoque de dividir las instrucciones en subtareas también permite que su sistema comprenda las dependencias lógicas expresadas en inglés, como «Realizar tareas como navegación y manipulación, con énfasis en las tareas domésticas». Usar datos escritos exactamente de la misma forma en que las personas se hablarían entre sí tiene muchos beneficios, afirma, porque significa que un usuario puede ser más flexible al redactar sus instrucciones.
Otro de los proyectos de Gandhi tiene que ver con el desarrollo de modelos lingüísticos. En el contexto del reconocimiento de voz, algunos idiomas se consideran «pocos en recursos» porque es posible que no tengan mucho discurso transcrito disponible o que no tengan ninguna forma escrita. «Una de las razones por las que solicité esta pasantía en el Laboratorio de IA Watson del MIT-IBM fue mi interés en el procesamiento del lenguaje para idiomas de bajos recursos», dice. «Hoy en día, muchos modelos de lenguaje se basan en gran medida en datos, y si no es tan fácil capturar todos esos datos, es necesario hacer un uso eficiente de los datos limitados».
El lenguaje es sólo una corriente de ondas sonoras, pero las personas que conversan pueden descubrir fácilmente dónde comienzan y terminan las palabras y los pensamientos. En el procesamiento del lenguaje, tanto los humanos como los modelos lingüísticos utilizan su vocabulario existente para reconocer los límites de las palabras y comprender el significado. En los idiomas de bajos recursos o de bajos recursos, es posible que no haya ningún vocabulario escrito, lo que impide a los investigadores proporcionar uno al modelo. En cambio, el modelo puede determinar qué secuencias de sonidos aparecen juntas con más frecuencia que otras e inferir que pueden ser palabras o conceptos individuales. Luego, el grupo de investigación de Gandhi recopila estas palabras derivadas en un pseudovocabulario que sirve como método de etiquetado para el lenguaje de escasos recursos y crea datos etiquetados para futuras aplicaciones.
Las aplicaciones de la tecnología de voz están “prácticamente en todas partes”, dice Gandhi. “Se puede imaginar que las personas pueden interactuar con software y dispositivos en su idioma nativo, su dialecto nativo. Podrías imaginarte mejorando todos los asistentes de voz que utilizamos. Se podría imaginar que se utiliza para traducir o interpretar”.
[ad_2]