Una rápida búsqueda de "ChatGPT" en la web oscura y Telegram muestra 27.912 menciones en los últimos seis meses.
Se ha escrito mucho sobre el potencial de los actores de amenazas para utilizar modelos de lenguaje. Con modelos de lenguaje grandes (LLMs) de código abierto como LLaMA y Orca, y ahora el modelo de cibercrimen WormGPT, las tendencias en torno a la comodificación del cibercrimen y las crecientes capacidades de los modelos están destinadas a chocar.
Los actores de amenazas ya están participando en rigurosas discusiones sobre cómo los modelos de lenguaje se pueden utilizar para todo, desde identificar exploits de día cero hasta crear correos electrónicos de spear-phishing.
Los modelos de código abierto representan una oportunidad particularmente convincente para los actores de amenazas, ya que no han pasado por un aprendizaje por refuerzo a través de comentarios humanos (RLHF) enfocado en prevenir respuestas riesgosas o ilegales. Esto les permite a los actores de amenazas utilizarlos activamente para identificar exploits de día cero, escribir correos electrónicos de spear-phishing y realizar otros tipos de cibercrimen sin la necesidad de exploits.
La empresa de gestión de exposición a amenazas Flare ha identificado más de 200.000 credenciales de OpenAI que actualmente se están vendiendo en la web oscura en forma de registros de robos.
Si bien esto es sin duda preocupante, la estadística solo empieza a rascar la superficie de los intereses de los actores de amenazas en ChatGPT, GPT-4 y los modelos de lenguaje de IA en general.
Página de inicio de sesión para una plataforma de phishing a gran escalaFuente: Flare
Tendencias que chocan: El ecosistema del cibercrimen y los modelos de lenguaje de IA de código abierto
En los últimos cinco años, ha habido un crecimiento dramático en la comodificación del cibercrimen. Ahora existe una vasta red subterránea en Tor y canales ilícitos de Telegram en los cuales los cibercriminales compran y venden información personal, acceso a redes, filtraciones de datos, credenciales, dispositivos infectados, infraestructura de ataque, ransomware y más.
Es probable que los cibercriminales orientados comercialmente utilicen cada vez más los modelos de lenguaje de IA de código abierto que se están proliferando rápidamente. La primera aplicación de este tipo, WormGPT, ya ha sido creada y se vende por una tarifa de acceso mensual.
Phishing personalizado a gran escala
El Phishing como Servicio (PhaaS) ya existe y proporciona infraestructura lista para lanzar campañas de phishing por una tarifa mensual.
Ya hay extensas discusiones entre los actores de amenazas que utilizan WormGPT para facilitar ataques de phishing más amplios y personalizados.
El uso de IA generativa probablemente permitirá a los ciberdelincuentes lanzar ataques contra miles de usuarios con mensajes personalizados obtenidos a partir de datos de cuentas de redes sociales, fuentes de inteligencia de fuentes abiertas (OSINT sources), y bases de datos en línea, aumentando drásticamente la amenaza para los empleados por medio de phishing en correos electrónicos.
Un actor de amenazas explica WormGPT
Fuente: Flare
"Mañana, API-WormGPT se proporcionará a través del canal de desarrollo de Galaxy, el estado de la solicitud es ilimitado y se calculará periódicamente, y para usar API-WORMGPT, necesitas obtener una API-KEY. Las últimas noticias serán anunciadas", un actor de amenazas publicita WormGPT en Telegram.
"Si no sabes qué es WORMGPT: Este WORMGPT es una versión ilimitada de CHATGPT, diseñada por hackers y creada para trabajos ilegales, como phishing y malware, etc., no tiene fuentes éticas".
Identificación automatizada de explotación y exposición
Proyectos como BabyAGI buscan utilizar modelos de lenguaje para repetir pensamientos y llevar a cabo acciones en línea, y potencialmente en el mundo real. Actualmente, muchas empresas no tienen una visibilidad completa de su superficie de ataque.
Confían en que los actores de amenazas no identifiquen rápidamente servicios sin parches, credenciales y claves de API expuestas en repositorios públicos de GitHub, y otras formas de exposición de datos de alto riesgo.
Modelos de lenguaje semiautónomos podrían cambiar rápidamente y abruptamente el panorama de amenazas al automatizar la detección de exposición a gran escala para los actores de amenazas.
En la actualidad, los actores de amenazas confían en una combinación de herramientas utilizadas por profesionales de ciberseguridad y esfuerzo manual para identificar exposiciones que pueden otorgar acceso inicial a un sistema.
Es probable que estemos a años, o incluso meses, de sistemas que no solo puedan detectar exposiciones obvias, como credenciales en un repositorio, sino que también puedan identificar nuevas vulnerabilidades de día cero en aplicaciones, disminuyendo drásticamente el tiempo que los equipos de seguridad tienen para responder a exploits y exposición de datos.
Vishing y Deepfakes
Los avances en IA generativa también parecen crear un entorno extremadamente desafiante para los ataques de vishing. Los servicios impulsados por IA ya pueden copiar realísticamente el sonido de la voz de una persona con menos de 60 segundos de audio, y la tecnología de deepfake continúa mejorando.
Actualmente, los deepfakes permanecen en el valle inquietante, lo que los hace algo obvios. Sin embargo, la tecnología está progresando rápidamente y los investigadores continúan creando e implementando proyectos de código abierto adicionales.
WormGPT responde a una solicitud para escribir un ejemplo de malware en Python
Fuente: Flare
Modelos de IA generativa para piratería y malware
Ya existen modelos de LLM de código abierto centrados en actividades de red teaming, como PentestGPT.
La funcionalidad y especialización de un modelo depende en gran medida de un proceso de varios pasos que involucra los datos en los que se entrena el modelo, el aprendizaje por refuerzo con retroalimentación humana y otras variables.
"Existen modelos de código abierto prometedores como orca, que promete poder encontrar vulnerabilidades de día cero si se sintoniza en el código", explica un actor de amenazas que discute el LLM de Microsoft llamado Orca.
¿Qué significa esto para los equipos de seguridad?
Tu margen de error como defensor está a punto de disminuir considerablemente. Reducir el ruido SOC para enfocarse en eventos de alto valor y mejorar el tiempo promedio de detección (MTTD) y el tiempo promedio de respuesta (MTTR) para exposiciones de alto riesgo, ya sea en la web oscura o en la web regular, debería ser una prioridad.
La adopción de IA para la seguridad en las empresas probablemente se moverá considerablemente más lento que para los atacantes, creando una asimetría que los adversarios intentarán explotar.
Los equipos de seguridad deben construir un programa efectivo de gestión de superficie de ataque, asegurarse de que los empleados reciban una capacitación sustancial sobre deepfakes y spear-phishing, pero más allá de eso, evaluar cómo se puede utilizar la IA para detectar y remediar rápidamente las brechas en el perímetro de seguridad.
La seguridad es tan fuerte como su eslabón más débil, y la IA está a punto de hacer que ese eslabón débil sea mucho más fácil de encontrar.
Sobre Eric Clay
Eric es el Investigador de Seguridad en Flare, una plataforma de monitoreo de exposición a amenazas. Tiene experiencia en análisis de datos de seguridad, investigación de seguridad y aplicaciones de IA en ciberseguridad.
Patrocinado y escrito por Flare.
