Inteligencia Artificial y Aprendizaje Automático, Tecnologías de Próxima Generación y Desarrollo Seguro
La herramienta de IA generativa puede escribir informes de errores, pero no útiles. Rashmi Ramesh (rashmiramesh_). 26 de julio de 2023.
Imagen: Shutterstock
Los modelos de lenguaje natural no son la bendición que muchos en la comunidad de Web3 esperaban que fueran las herramientas de inteligencia artificial generativa. Después de un estallido de optimismo, ahora se cree que las herramientas de IA generan informes de errores bien escritos, perfectamente formateados y completamente inútiles.
Ver también: Webinar en vivo | Descubriendo a Pegasus: Comprenda la Amenaza y Refuerce su Defensa Digital.
"Hasta la fecha, no se ha descubierto una sola vulnerabilidad real a través de un informe de error generado por ChatGPT y enviado a Immunefi", dijo en un informe reciente la plataforma de recompensas por errores de Web3, Immunefi, que ha prohibido permanentemente la presentación de informes de errores generados por ChatGPT.
La inundación de informes de errores que Immunefi recibió después del lanzamiento de ChatGPT de OpenAI en noviembre usaba el mismo lenguaje técnico comúnmente visto en informes de errores exitosos, pero "las afirmaciones en los informes eran incoherentes", dijo la compañía. Los informes se referían a funciones que no estaban presentes en el código base de un proyecto, conceptos de programación clave confusos, descripciones vagas de las vulnerabilidades y declaraciones de impacto genéricas.
Para la seguridad de Web3, especialmente el descubrimiento de vulnerabilidades, la tecnología utilizada por ChatGPT "simplemente no está ahí", dice Mitchell Amador, fundador y director ejecutivo de la plataforma de recompensas por errores.
Alrededor de tres cuartos de los casi 200 hackers éticos encuestados por Immunefi, que afirmaron haber utilizado ChatGPT para buscar errores, coincidieron en que los resultados no valían el esfuerzo. Más del 60% de ellos dijo que ChatGPT tenía una precisión limitada para identificar vulnerabilidades de seguridad, carecía de conocimientos específicos del dominio y tenía dificultades para manejar auditorías a gran escala.
Una herramienta de IA simplemente puede no ser capaz de detectar amenazas nuevas o emergentes que aún no estén identificadas o registradas en sus datos de entrenamiento. El uso de datos desactualizados también conduce a errores constantes, según el informe.
Las vulnerabilidades precisas que encuentra son "extremadamente obvias y estándar".
Actualmente, la IA generativa carece de la sofisticación necesaria para proporcionar información detallada y sin errores sobre temas de seguridad blockchain, afirmó Immunefi, y agregó que "ciertamente es incapaz de producir informes de vulnerabilidad válidos".
En una industria donde hay tanto en juego, necesitamos hablar sobre ChatGPT u otra solución de IA con mayor claridad. Necesitamos responder preguntas como esas y ser minuciosos en cómo interactuamos con ella, especialmente cuando tiene el potencial de convertirse en parte del conjunto de herramientas de alguien", dijo la compañía.
Pero no todo son malas noticias: más de tres cuartos de los hackers éticos encuestados creen que ChatGPT tiene el potencial de mejorar la investigación de seguridad de Web3.
En su estado actual, la tecnología es más adecuada para la educación en seguridad de Web3, dijeron. Puede ayudar a los cazadores de errores a resumir documentación, explicarles de manera sencilla código complejo y protocolos, y proporcionar código con errores para que los hackers éticos novatos lo utilicen para practicar.
Michiel Prins, cofundador de HackerOne, dijo que la plataforma de recompensas por errores ya ha visto un aumento en informes concisos y bien escritos generados a través de estos chatbots de IA, especialmente por parte de personas cuyo idioma materno no es el inglés.
"El aumento en la calidad de los informes reduce la necesidad de idas y vueltas entre el hacker y los analistas de seguridad de HackerOne, que evalúan y validan todas las presentaciones de los hackers", dijo a Information Security Media Group.
Sin embargo, los auditores de código es posible que no puedan confiar en ChatGPT como el único medio para generar informes de errores. Estas herramientas pueden ayudar en el proceso, pero "se sabe que los modelos de IA ocasionalmente alucinan, inventando información inexacta o completamente falsa. Donde los hackers son responsables de presentar información fáctica y precisa en sus informes, deberán tener cuidado con esto y asegurarse de revisar cualquier texto de IA que reciban en busca de inexactitudes flagrantes", dijo Prins.
