A pesar de la creciente preocupación por el potencial de la IA generativa para causar estragos en los mercados laborales globales, los contadores pueden respirar un alivio temporal.

Experto en la narración de historias, el aprendizaje del comportamiento y otras tareas creativas, el modelo de lenguaje de inteligencia artificial ChatGPT, la plataforma de IA de mayor crecimiento y más prominente hasta la fecha, ha generado preocupación por su capacidad para ayudar a los estudiantes a hacer trampa en sus tareas y exámenes. El bot ha aprobado el examen de abogacía con una puntuación en el percentil 90, aprobado 13 de 15 exámenes AP y alcanzado una puntuación casi perfecta en el GRE.

"Cuando se lanzó esta tecnología por primera vez, todos se preocuparon de que los estudiantes pudieran usarla para hacer trampa", señaló David Wood, profesor de contabilidad de la Universidad Brigham Young. "Pero siempre han existido oportunidades para hacer trampa. Así que para nosotros, estamos tratando de centrarnos en lo que podemos hacer con esta tecnología ahora que antes no podíamos hacer para mejorar el proceso de enseñanza para los profesores y el proceso de aprendizaje para los estudiantes. Probarlo fue revelador".

Sin embargo, como descubrió posteriormente un estudio liderado por Wood, la plataforma a menudo tiene dificultades para entender los procesos matemáticos y a menudo embellece los datos para encubrir los errores cuando estos ocurren. 

ChatGPT

El estudio de Wood buscaba probar la aptitud de ChatGPT para completar exámenes de contabilidad en comparación con estudiantes de contabilidad reales. Se presentaron 25.181 preguntas sobre sistemas de información, auditoría, contabilidad financiera, contabilidad gerencial e impuestos de 186 instituciones educativas en 14 países. Los estudiantes universitarios de BYU también aportaron 2.268 preguntas más al banco de pruebas del estudio.

Las preguntas se presentaron en diferentes formatos con diferentes niveles de dificultad, utilizando una combinación de preguntas de opción múltiple, verdadero o falso y respuestas escritas.

El estudio encontró que los estudiantes obtuvieron una puntuación más alta que ChatGPT, superando al chatbot en más del 30%: obteniendo un promedio de 76.7% frente al 47.4% de ChatGPT. ChatGPT solo superó a los estudiantes en el 11.3% de las preguntas, especialmente en aquellas relacionadas con auditoría y sistemas de información contable. El chatbot también fue más hábil para responder preguntas de opción múltiple y verdadero o falso, obteniendo una puntuación del 59.5% y el 68.7% en cada formato respectivamente, sin embargo, obtuvo un desempeño significativamente inferior en preguntas de respuesta breve, con un puntaje entre el 28.7% y el 39.1%.

"No es perfecto; no lo utilizarás para todo", dijo Jessica Wood, una estudiante de primer año de BYU que participó en el estudio. "Tratar de aprender sólo a través de ChatGPT es una tarea de tontos".