Por Peter Grad, Tech Xplore
Resumen gráfico. Crédito: Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101672
En una época de preocupación creciente en el ámbito académico sobre los ensayos generados por IA, hay noticias tranquilizadoras desde la Universidad de Kansas.
Investigadores han desarrollado un detector de texto de IA para ensayos científicos que puede distinguir entre contenido escrito por humanos y contenido generado por computadora casi el 100% de las veces.
En un estudio publicado el 6 de noviembre en Cell Reports Physical Science, la profesora Heather Desaire señaló que mientras hay varios detectores de IA disponibles actualmente para contenido general, ninguno es particularmente bueno cuando se aplican a artículos científicos.
"La mayoría de los estudios en el campo del análisis de texto quieren un detector realmente general que funcione en cualquier cosa", dijo Desaire. En cambio, su equipo se centró en informes escritos específicamente para revistas científicas sobre el tema de la química.
"Estábamos realmente persiguiendo la precisión", dijo.
El detector del equipo fue entrenado utilizando revistas publicadas por la Sociedad Química Estadounidense. Recopilaron 100 pasajes introductorios escritos por profesionales y luego programaron a ChatGPT para que escribiera sus propias introducciones basadas en resúmenes de revistas o simplemente en los títulos de los informes.
Cuando el detector de ChatGPT escaneó las tres categorías de informes, identificó correctamente los pasajes escritos por humanos el 100% de las veces, así como los informes generados a partir de indicaciones que solo incluían los títulos de los informes. Los resultados fueron casi igual de buenos con los informes que se basaban en pasajes introductorios, con una identificación correcta del 98% de las veces.
Un clasificador competidor como ZeroGPT, que presume tener una precisión del 98% para detectar ensayos generales escritos por IA, sin embargo, obtuvo malos resultados cuando se trataba de los informes relacionados con la química. Solo logró una tasa de precisión promedio del 37% en los mismos informes basados en títulos, y apenas unos pocos puntos porcentuales mejor en los informes basados en texto introductorio.
Un segundo competidor, OpenAI, lo hizo aún peor, fallando en identificar correctamente la autoría de los ensayos en un promedio del 80% de las veces.
"Las editoriales académicas están luchando contra la adopción rápida y generalizada de nuevos generadores de texto de inteligencia artificial", dijo Desaire. "Este nuevo detector permitirá a la comunidad científica evaluar la infiltración de ChatGPT en revistas de química, identificar las consecuencias de su uso e introducir rápidamente estrategias de mitigación cuando surjan problemas".
Las revistas científicas están reescribiendo sus reglas con respecto a la presentación de artículos, la mayoría prohíbe los informes generados por IA y requiere la divulgación de cualquier otro proceso de IA utilizado en la composición de un informe.
Desaire enumeró varias preocupaciones sobre los riesgos de que el contenido generado por la IA se infiltre en revistas científicas: "Su uso excesivo puede resultar en una inundación de manuscritos marginalmente valiosos. Podrían provocar que los artículos altamente citados estén sobre-representados y que las obras emergentes, que aún no son bien conocidas, sean ignoradas."
"Lo más preocupante", agregó, "es la tendencia de estas herramientas hacia la 'alucinación', inventando hechos que no son verdaderos."
Como ilustración, Desaire incluyó una anécdota personal sobre los resultados de un bosquejo biográfico escrito por ChatGPT acerca de ella. Decía que se "graduó de la Universidad de Minnesota, es miembro de la Royal Society of Chemistry y ganó la Medalla Biemann". Logros impresionantes, pero todos falsos.
"Aunque este ejemplo sea divertido", dijo Desaire, "infiltrar la literatura científica con mentiras está lejos de ser algo gracioso."
Pero ella se mantiene optimista. Algunos dicen que resistir la aparición de contenido generado por la IA es inevitable, dijo, y argumentan que "desarrollar herramientas como esta es participar en una carrera armamentista [contra la IA] en la que los humanos no ganarán."
Dijo que los editores deben liderar en la detección de la contaminación por IA.
"Las revistas deben tomar medidas razonables para asegurarse de que se cumplan sus políticas sobre escritura automática por IA, y creemos que es totalmente factible estar por delante del problema de detectar la IA", dijo.
Más información: Heather Desaire et al, Detección precisa de texto generado por IA cuando ChatGPT se le ordena escribir como un químico, Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101672
Información de la revista: Cell Reports Physical Science © 2023 Science X Network
