[ad_1]
A medida que los sistemas de IA generativa como ChatGPT de OpenAI y Gemini de Google se vuelven más avanzados, se utilizan cada vez más. Las nuevas empresas y las empresas de tecnología están creando agentes y ecosistemas de inteligencia artificial sobre los sistemas que pueden realizar tareas aburridas por usted: piense en hacer reservas de calendario automáticamente y tal vez comprar productos. Pero cuanta más libertad se les dé a las herramientas, mayores serán las oportunidades potenciales de ataque.
Ahora, para demostrar los riesgos de los ecosistemas de IA autónomos y en red, un grupo de investigadores ha creado lo que creen que es uno de los primeros gusanos de IA generativos que pueden propagarse de un sistema a otro, robando potencialmente datos o implementando procedimientos de malware. «Básicamente, lo que significa es que ahora tienes la capacidad de llevar a cabo un nuevo tipo de ciberataque que nunca antes se había realizado», afirma Ben Nassi, investigador de Cornell Tech detrás del estudio.
Junto con sus colegas investigadores Stav Cohen y Ron Bitton, Nassi creó el gusano llamado Morris II como referencia al gusano informático Morris original que causó estragos en Internet en 1988. Según un informe de investigación y un sitio web compartido exclusivamente con WIRED: Los investigadores muestran cómo el gusano de IA puede atacar a un asistente de correo electrónico de IA generativa para robar datos de los correos electrónicos y entregar mensajes de spam, y en el proceso anula algunas medidas de seguridad en ChatGPT y Gemini.
La investigación, que se llevó a cabo en entornos de prueba y no en un asistente de correo electrónico disponible públicamente, se produce en el contexto de que los grandes modelos de lenguaje (LLM) se vuelven cada vez más multimodales y capaces de generar imágenes y videos además de texto. Si bien los gusanos de IA generativa aún no se han detectado en la naturaleza, varios investigadores dicen que representan un riesgo de seguridad que debería preocupar a las empresas emergentes, los desarrolladores y las empresas de tecnología.
La mayoría de los sistemas de IA generativa funcionan recibiendo indicaciones: instrucciones de texto que indican a las herramientas que respondan una pregunta o creen una imagen. Sin embargo, estas solicitudes también pueden utilizarse como arma contra el sistema. Los jailbreaks pueden hacer que un sistema ignore sus reglas de seguridad y arroje contenido tóxico u odioso, mientras que los ataques de inyección rápida pueden dar instrucciones secretas a un chatbot. Por ejemplo, un atacante puede ocultar texto en una página web que le pide a un LLM que actúe como un estafador y solicite su información bancaria.
Para crear el gusano generativo de IA, los investigadores utilizaron lo que llamaron un «mensaje adversario y autorreplicante». Este es un mensaje que hace que el modelo de IA generativa emita otro mensaje en respuesta, dicen los investigadores. En resumen, el sistema de IA recibe instrucciones de crear una serie de instrucciones adicionales en sus respuestas. Esto es muy similar a los tradicionales ataques de inyección SQL y desbordamiento de búfer, dicen los investigadores.
Para demostrar cómo puede funcionar el gusano, los investigadores crearon un sistema de correo electrónico que puede enviar y recibir mensajes utilizando IA generativa, uniéndose a ChatGPT, Gemini y el LLM de código abierto, LLaVA. Luego encontraron dos formas de explotar el sistema: utilizando un mensaje autorreplicante basado en texto e incrustando un mensaje autorreplicante en un archivo de imagen.
[ad_2]