[ad_1]
Un nuevo generador de imágenes de IA de código abierto capaz de generar imágenes realistas a partir de cualquier entrada de texto ha tenido una adopción sorprendentemente rápida en su primera semana. Stable Diffusion de Stability AI, de alta fidelidad pero capaz de ejecutarse en hardware de consumo estándar, ahora utilizado por servicios de generación de arte como Artbreeder, Pixelz.ai y otros. Pero la naturaleza no filtrada del modelo significa que no todo el uso fue del todo exacto.
En su mayor parte, los casos de uso fueron por la borda. Por ejemplo, NovelAI ha estado experimentando con una difusión estable para producir arte que pueda acompañar las historias generadas por IA creadas por los usuarios en su plataforma. Midjourney ha lanzado una versión beta que usa Stable Diffusion para más fotorrealismo.
Pero la difusión estable también se ha utilizado para fines menos sabrosos. En el notorio foro de discusión 4chan, donde el modelo se filtró desde el principio, varios hilos están dedicados al arte generado por IA de celebridades desnudas y otras formas de pornografía generada.
Emad Mostaque, director ejecutivo de Stability AI, calificó de «lamentable» que el modelo se filtrara en 4chan, y enfatizó que la compañía está trabajando con «éticos y tecnología líderes» en seguridad y otros mecanismos relacionados con el intercambio responsable. Uno de esos mecanismos es una herramienta de IA ajustable, Safety Classifier, incluida en el paquete de software Stable Diffusion que intenta detectar y bloquear imágenes ofensivas o no deseadas.
Sin embargo, el clasificador de seguridad se puede deshabilitar (habilitar de forma predeterminada).
Stable Diffusion es un territorio completamente nuevo. Otros sistemas de generación de arte de IA, como DALL-E 2 de OpenAI, han implementado filtros estrictos para material pornográfico. (La licencia para la difusión estable de código abierto prohíbe ciertos usos, como la explotación de menores, pero el modelo en sí no está restringido a nivel técnico). Además, a diferencia de la difusión estable, muchos no tienen la capacidad de capturar el arte de figuras públicas para realizar . Estas dos habilidades combinadas podrían ser riesgosas, ya que permitirían a los malos actores crear «falsificaciones profundas» pornográficas que, en el peor de los casos, podrían continuar con el abuso o implicar a alguien en un crimen que no cometió.
![Difusión estable](https://techcrunch.com/wp-content/uploads/2022/08/deepfake_emma_watson_stable_diffusion-transformed.png)
Un deepfake de Emma Watson creado por Stable Diffusion y publicado en 4chan.
Desafortunadamente, las mujeres son, con mucho, las más propensas a ser víctimas de esto. Un estudio de 2019 encontró que del 90-95 % de las falsificaciones profundas no consentidas, alrededor del 90 % son de mujeres. Eso no es un buen augurio para el futuro de estos sistemas de IA, según Ravit Dotan, especialista en ética de la IA de la Universidad de California, Berkeley.
«Me preocupan otras implicaciones de las imágenes sintéticas de contenido ilegal: que exacerbarán los comportamientos ilegales representados», dijo Dotan a TechCrunch por correo electrónico. “EG se convierte en niño sintético [exploitation] Aumentar la creación de un niño auténtico [exploitation]? ¿Aumentará el número de ataques de pederastas?”.
El investigador principal del Instituto de Ética de IA de Montreal, Abhishek Gupta, comparte esta opinión. «Realmente necesitamos pensar en el ciclo de vida del sistema de IA, que incluye el uso y el monitoreo después de la implementación, y cómo podemos visualizar controles que puedan minimizar el daño incluso en los peores escenarios», dijo. “Esto es especialmente cierto cuando una poderosa habilidad [like Stable Diffusion] en la naturaleza, lo que puede causar un trauma real a aquellos contra quienes se podría usar dicho sistema, por ejemplo, a través de la creación de contenido objetable que presenta la imagen de la víctima”.
Algo así como un adelanto ocurrió el año pasado cuando, siguiendo el consejo de una enfermera, un padre tomó fotos del área genital hinchada de su hijo pequeño y se las envió por mensaje de texto al iPhone de la enfermera. La foto se guardó automáticamente en Google Photos y los filtros de IA de la compañía la marcaron como material de abuso sexual infantil, lo que resultó en la desactivación de la cuenta del hombre y el inicio de una investigación por parte del Departamento de Policía de San Francisco.
Según expertos como Dotan, si una foto legítima puede activar un sistema de detección de este tipo, no hay motivo para que las falsificaciones profundas generadas por un sistema como Stable Diffusion no puedan, y a escala.
«Los sistemas de inteligencia artificial que crean los humanos, incluso con las mejores intenciones, pueden usarse de formas dañinas que no pueden predecir ni prevenir», dijo Dotan. «Creo que los desarrolladores e investigadores a menudo han subestimado este punto».
Por supuesto, la tecnología para crear deepfakes existe desde hace tiempo, ya sea con o sin la ayuda de la IA. Un informe de 2020 de la empresa de detección de deepfakes Sensity descubrió que cada mes se cargaban cientos de videos deepfakes explícitos con celebridades femeninas en los sitios web de pornografía más grandes del mundo; El informe estimó la cantidad total de deepfakes en Internet en alrededor de 49,000, más del 95% de los cuales eran pornografía. Actrices como Emma Watson, Natalie Portman, Billie Eilish y Taylor Swift han sido objeto de deepfakes desde que las herramientas de intercambio de rostros impulsadas por IA irrumpieron en la corriente principal hace unos años, y algunas, incluida Kristen Bell, se han pronunciado en contra de lo que ven. como explotación sexual.
Stable Diffusion, sin embargo, representa una nueva generación de sistemas que pueden crear imágenes falsas increíblemente convincentes, si no perfectas, con un mínimo esfuerzo por parte del usuario. También es fácil de instalar, ya que no requiere más que unos pocos archivos de configuración y una tarjeta gráfica, que cuesta varios cientos de dólares en la gama alta. Se está trabajando en versiones aún más eficientes del sistema que pueden ejecutarse en una MacBook M1.
![Difusión estable](https://techcrunch.com/wp-content/uploads/2022/08/stable_diffusion_kardashian.png)
Un deepfake de Kylie Kardashian publicado en 4chan.
Sebastián Berns, un Ph.D. Los investigadores del grupo de IA de la Universidad Queen Mary de Londres creen que la automatización y la capacidad de extender imágenes personalizadas son las grandes diferencias con sistemas como Stable Diffusion, y los principales problemas. «La mayoría de las imágenes maliciosas ya se pueden crear con métodos tradicionales, pero son manuales y requieren mucho esfuerzo», dijo. «Un modelo capaz de producir imágenes casi fotorrealistas podría conducir a ataques de extorsión personalizados contra individuos».
A Berns le preocupa que las fotos personales extraídas de las redes sociales puedan usarse para condicionar la difusión estable o un modelo similar para generar imágenes pornográficas dirigidas o imágenes que representen actos ilegales. Ciertamente hay precedentes. Después de cubrir la violación de una niña de Cachemira de ocho años en 2018, la periodista de investigación india Rana Ayyub se convirtió en el objetivo de los trolls nacionalistas indios, algunos de los cuales crearon pornografía falsa con su rostro en el cuerpo de otra persona. El deepfake fue compartido por el líder del partido político nacionalista BJP, y el acoso que recibió Ayyub fue tan grave que las Naciones Unidas tuvieron que intervenir.
«Stable Diffusion brinda suficiente personalización para enviar amenazas automáticas contra las personas para que paguen o se arriesguen a que se publiquen imágenes falsas pero potencialmente dañinas», continuó Berns. “Ya estamos viendo personas chantajeadas después de que se accedió de forma remota a su cámara web. Es posible que este paso de infiltración ya no sea necesario”.
Con una difusión estable en la naturaleza y que ya se está utilizando para generar pornografía, parte de ella sin consentimiento, es posible que los proveedores de imágenes deban tomar medidas. TechCrunch contactó a OnlyFans, una de las plataformas de contenido para adultos más grandes, pero no recibió respuesta al momento de la publicación. Un portavoz de Patreon, que también permite contenido para adultos, señaló que la empresa tiene una política contra las falsificaciones profundas y prohíbe las imágenes que «reutilicen la semejanza de las celebridades y coloquen el contenido para adultos en un contexto para adultos».
Sin embargo, si la historia es una indicación, es probable que la aplicación sea irregular, en parte porque pocas leyes protegen específicamente contra la falsificación profunda relacionada con la pornografía. E incluso si la amenaza de acciones legales presiona a algunos sitios web que se ocupan de contenido inaceptable generado por IA, nada impide que surjan otros nuevos.
En otras palabras, dice Gupta, es un nuevo mundo feliz.
“Los usuarios creativos y malintencionados pueden abusar de las funciones [of Stable Diffusion] para generar contenido objetable subjetivamente a escala, con recursos mínimos para ejecutar inferencias, que es más económico que entrenar todo el modelo, y luego publicarlo en lugares como Reddit y 4chan para generar tráfico y piratear la atención», dijo Gupta. «Hay mucho en juego si tales capacidades escapan ‘a la naturaleza’ donde los controles como los límites de tasa de API, los controles de seguridad sobre el tipo de salida devuelta por el sistema ya no son aplicables».
[ad_2]