[ad_1]
Los modelos de inteligencia artificial que reconocen patrones en imágenes a menudo pueden hacerlo mejor que el ojo humano, pero no siempre. Si un radiólogo utiliza un modelo de IA para determinar si las radiografías de un paciente muestran signos de neumonía, ¿cuándo debería confiar en los consejos del modelo y cuándo debería ignorarlos?
Según investigadores del MIT y del MIT-IBM Watson AI Lab, un proceso de incorporación personalizado podría ayudar a este radiólogo a responder esa pregunta. Han desarrollado un sistema que le enseña al usuario cuándo colaborar con un asistente de IA.
En este caso, el método de entrenamiento podría encontrar situaciones en las que el radiólogo confía en los consejos del modelo, excepto que no debería hacerlo porque el modelo es incorrecto. El sistema aprende automáticamente reglas para trabajar con la IA y las describe en lenguaje natural.
Durante la incorporación, el radiólogo practica el trabajo con la IA a través de ejercicios de entrenamiento basados en estas reglas y recibe retroalimentación sobre su desempeño y el desempeño de la IA.
Los investigadores descubrieron que este procedimiento de incorporación resultó en una mejora de aproximadamente el 5 por ciento en la precisión cuando los humanos y la IA trabajaron juntos en una tarea de predicción de imágenes. Sus resultados también muestran que decirle al usuario que confíe en la IA sin entrenamiento resultó en un rendimiento más pobre.
Es importante destacar que el sistema de los investigadores está completamente automatizado, por lo que aprende a crear el proceso de incorporación basándose en datos del ser humano y la IA que realizan una tarea específica. También se puede adaptar a diferentes tareas, lo que permite ampliarlo y utilizarlo en muchas situaciones en las que los humanos y los modelos de IA trabajan juntos, como moderar, escribir y programar contenido de redes sociales.
“A menudo, estas herramientas de inteligencia artificial se entregan a personas sin ninguna capacitación para determinar cuándo serán útiles. No hacemos eso con casi todas las demás herramientas que usa la gente; casi siempre viene con algún tipo de tutorial. Pero para la IA esto parece faltar. Estamos tratando de abordar este problema desde una perspectiva metodológica y de comportamiento”, dice Hussein Mozannar, estudiante de doctorado en el programa de doctorado de Sistemas Sociales y de Ingeniería del Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal de un artículo sobre este proceso de formación.
Los investigadores creen que dicha incorporación será una parte crucial de la formación de los profesionales médicos.
«Se podría imaginar, por ejemplo, que los médicos que utilizan la IA para tomar decisiones de tratamiento primero tendrían que recibir una formación similar a la que proponemos. Es posible que tengamos que repensar todo, desde la educación médica continua hasta el diseño de ensayos clínicos», afirma el autor principal, David. Sontag, profesor de EECS, miembro del MIT-IBM Watson AI Lab y de la MIT Jameel Clinic, y líder del Clinical Machine Learning Group del Computer Science and Artificial Intelligence Laboratory (CSAIL).
Mozannar, que también es investigador del Grupo Clínico de Aprendizaje Automático, cuenta con la ayuda en el trabajo de Jimin J. Lee, un estudiante de ingeniería eléctrica e informática. Dennis Wei, científico investigador senior de IBM Research; y Prasanna Sattigeri y Subhro Das, investigadores asociados del MIT-IBM Watson AI Lab. El artículo se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
Formación que evoluciona
Los métodos de incorporación de colaboración entre humanos e IA a menudo consisten en materiales de capacitación creados por expertos humanos para casos de uso específicos, lo que dificulta su escalamiento. Algunas técnicas relacionadas se basan en explicaciones, donde la IA le dice al usuario cuánto confía en cada decisión. Pero las investigaciones muestran que las explicaciones rara vez son útiles, afirma Mozannar.
“Las capacidades del modelo de IA evolucionan constantemente, por lo que los casos de uso en los que los humanos podrían beneficiarse potencialmente de él aumentan con el tiempo. Al mismo tiempo, la percepción que el usuario tiene del modelo sigue cambiando. Por eso necesitamos un proceso de formación que también evolucione con el tiempo”, añade.
Para lograr esto, su método de incorporación se aprende automáticamente a partir de los datos. Se basa en un conjunto de datos que contiene muchas instancias de una tarea, como detectar la presencia de un semáforo a partir de una imagen borrosa.
El primer paso del sistema es recopilar datos sobre los humanos y la IA que realizan esta tarea. En este caso, los humanos intentarían utilizar la IA para predecir si los semáforos se pueden ver en imágenes borrosas.
El sistema incorpora estos puntos de datos en un espacio latente, que es una representación de datos en la que puntos de datos similares están más cerca unos de otros. Utiliza un algoritmo para descubrir áreas de este espacio donde los humanos colaboran incorrectamente con la IA. Estas regiones capturan casos en los que el humano confió en la predicción de la IA, pero la predicción fue incorrecta y viceversa.
Las personas pueden confiar erróneamente en la IA cuando las imágenes muestran una carretera de noche.
Después de descubrir las regiones, un segundo algoritmo utiliza un modelo de lenguaje grande para describir cada región, generalmente en lenguaje natural. El algoritmo refina iterativamente esta regla al encontrar ejemplos contrastantes. Se podría describir esta región como “Ignoro si es una carretera de noche”.
Estas reglas se utilizan para estructurar los ejercicios de entrenamiento. El sistema de incorporación muestra al humano un ejemplo, en este caso una escena borrosa de una carretera por la noche, así como la predicción de la IA y pregunta al usuario si la imagen muestra semáforos. El usuario puede responder sí o no o utilizar la predicción de la IA.
Si el humano se equivoca, se le muestra la respuesta correcta y las estadísticas de rendimiento tanto del humano como de la IA para esas instancias de la tarea. El sistema hace esto para cada región y al final del proceso de entrenamiento repite los ejercicios que el humano hizo incorrectamente.
«Luego, los humanos aprendieron algo sobre estas regiones que esperamos que utilicen en el futuro para hacer predicciones más precisas», dice Mozannar.
La incorporación aumenta la precisión
Los investigadores probaron este sistema con usuarios en dos tareas: reconocer semáforos en imágenes borrosas y responder preguntas de opción múltiple de muchos campos (como biología, filosofía, informática, etc.).
Primero mostraron a los usuarios una tarjeta con información sobre el modelo de IA, cómo se entrenó y un desglose de su rendimiento en categorías amplias. Los usuarios se dividieron en cinco grupos: a algunos simplemente se les mostró el mapa, algunos pasaron por el procedimiento de incorporación de investigadores, algunos pasaron por un procedimiento de incorporación básico, algunos pasaron por el procedimiento de incorporación de investigadores y se les dieron recomendaciones sobre cuándo hacerlo y cuándo no. No confío en la IA, a otros solo se les dieron recomendaciones.
Sólo el procedimiento de incorporación de los investigadores sin recomendaciones mejoró significativamente la precisión de los usuarios, aumentando su rendimiento en la tarea de predicción del semáforo en aproximadamente un 5 por ciento sin ralentizarlos. Sin embargo, la incorporación para la tarea de preguntas y respuestas no fue tan efectiva. Los investigadores creen que esto se debe a que el modelo ChatGPT AI proporcionó explicaciones para cada respuesta, indicando si se debe confiar en él.
Pero brindar recomendaciones sin incorporación tuvo el efecto contrario: los usuarios no solo obtuvieron peores resultados, sino que también necesitaron más tiempo para hacer predicciones.
“Si simplemente le das recomendaciones a alguien, parece que está confundido y no sabe qué hacer. Esto descarrila su proceso. A la gente tampoco le gusta que le digan qué hacer, así que ese también es un factor”, afirma Mozannar.
Simplemente proporcionar recomendaciones puede perjudicar al usuario si esas recomendaciones son incorrectas, añade. Sin embargo, cuando se trata de incorporación, la mayor limitación es la cantidad de datos disponibles. Si no hay suficientes datos, la fase de incorporación no será tan efectiva, afirma.
En el futuro, él y sus colegas quieren realizar estudios más amplios para evaluar los efectos a corto y largo plazo de la incorporación. También desea aprovechar los datos sin etiquetar para el proceso de incorporación y encontrar métodos para reducir de manera efectiva la cantidad de regiones sin omitir ejemplos importantes.
“Los seres humanos están adoptando sistemas de IA a voluntad y, de hecho, la IA tiene un gran potencial, pero estos agentes de IA todavía a veces cometen errores. «Por lo tanto, es fundamental que los desarrolladores de IA desarrollen métodos que ayuden a las personas a reconocer cuándo pueden confiar de manera segura en las sugerencias de la IA», dice Dan Weld, profesor emérito de la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería de la Universidad de Washington. involucrados en esta investigación. “Mozannar et al. «Hemos desarrollado un método innovador para identificar situaciones en las que la IA es confiable y (lo más importante) describirlas a los humanos de una manera que conduzca a mejores interacciones entre el equipo humano y la IA».
Este trabajo está financiado en parte por el MIT-IBM Watson AI Lab.
[ad_2]