Por Peter Grad, Tech Xplore
Ejemplos de imágenes generadas por los modelos limpios (no envenenados) y envenenados de SD-XL con diferentes cantidades de datos envenenados. El efecto del ataque se hace evidente con 1000 muestras envenenadas, pero no con 500 muestras. Crédito: arXiv (2023). DOI: 10.48550/arxiv.2310.13828
Los artistas que se han quedado impotentes al ver cómo sus trabajos en línea seguían siendo objeto de explotación sin autorización por parte de operaciones de raspado web de IA finalmente pueden contraatacar.
Investigadores de la Universidad de Chicago anunciaron el desarrollo de una herramienta que "envenena" los gráficos apropiados por compañías de IA para entrenar modelos generadores de imágenes. La herramienta, Nightshade, manipula los píxeles de las imágenes para alterar la salida durante el entrenamiento. Las alteraciones no son visibles a simple vista antes del procesamiento.
Ben Zhao, uno de los autores del artículo "Ataques específicos de envenenamiento a modelos generadores de texto a imagen", dijo que Nightshade puede sabotear los datos para que las imágenes de perros, por ejemplo, se conviertan en gatos durante el entrenamiento. En otros casos, las imágenes de coches se transformaron en coches y los sombreros se convirtieron en pasteles. El trabajo ha sido publicado en el servidor de preimpresión arXiv.
"Un número moderado de ataques de Nightshade puede desestabilizar las características generales de un modelo generador de texto a imagen, desactivando efectivamente su capacidad para generar imágenes significativas", dijo Zhao.
Él calificó la creación de su equipo como "una última defensa para los creadores de contenido contra los raspadores web que ignoran las directivas de exclusión/denegación de rastreo".
Los artistas llevan mucho tiempo preocupados por compañías como Google, OpenAI, Stability AI y Meta, que recolectan miles de millones de imágenes en línea para usarlas en conjuntos de datos de entrenamiento para herramientas lucrativas de generación de imágenes sin proporcionar compensación a los creadores.
Eva Toorenent, asesora del Gremio Europeo para la Regulación de la Inteligencia Artificial en los Países Bajos, dijo que tales prácticas "han agotado la creatividad de millones de artistas".
"Es absolutamente horroroso", dijo en una entrevista reciente.
El equipo de Zhao demostró que, a pesar de la creencia común de que interrumpir las operaciones de raspado requeriría subir grandes cantidades de imágenes alteradas, lograron la interrupción usando menos de 100 muestras "envenenadas". Lograron esto utilizando ataques específicos de envenenamiento que requieren menos muestras que el conjunto de datos de entrenamiento del modelo.
Zhao ve a Nightshade como una herramienta útil no solo para artistas individuales, sino también para grandes compañías como estudios cinematográficos y desarrolladores de juegos.
"Por ejemplo, Disney podría aplicar Nightshade a sus imágenes impresas de 'Cenicienta', mientras coordina con otros conceptos de envenenamiento para 'La Sirenita'", dijo Zhao.
Nightshade también puede alterar estilos artísticos. Por ejemplo, una solicitud de crear una imagen en estilo barroco puede generar una imagen en estilo cubista.
La herramienta surge en medio de una creciente oposición a las compañías de IA que se apropian de contenido web bajo lo que las compañías dicen que está permitido por las reglas de uso legítimo. El verano pasado se presentaron demandas contra Google y OpenAI de Microsoft acusando a los gigantes tecnológicos de utilizar indebidamente materiales con derechos de autor para entrenar sus sistemas de IA.
Google no es dueño de Internet, no es dueño de nuestras obras creativas, no es dueño de nuestras expresiones de nuestra personalidad, imágenes de nuestras familias e hijos, ni de cualquier otra cosa simplemente porque la compartimos en línea", dijo el abogado de los demandantes, Ryan Clarkson. Si se les encuentra culpables, las empresas enfrentan multas de miles de millones.
Google busca el rechazo de la demanda, declarando en documentos judiciales: "Utilizar información públicamente disponible para aprender no es robar, ni una invasión de la privacidad, conversión, negligencia, competencia desleal o infracción de derechos de autor".
Según Toorenent, Nightshade "hará que las compañías de IA piensen dos veces, porque tienen la posibilidad de destruir su modelo completo al tomar nuestro trabajo sin nuestro consentimiento".
Más información: Shawn Shan et al, Ataques de Envenenamiento Específicos de la Propuesta en Modelos Generativos de Texto a Imagen, arXiv (2023). DOI: 10.48550/arxiv.2310.13828
Información de la revista: arXiv. © 2023 Science X Network
