Ampliar / Una imagen generada por IA de "un robot riéndose". El miércoles, dos investigadores alemanes, Sophie Jentzsch y Kristian Kersting, publicaron un ensayo que analiza la capacidad de ChatGPT-3.5 de OpenAI para entender y generar humor. Descubrieron que el conocimiento de los chistes de ChatGPT es bastante limitado, ya que durante una prueba el 90% de las 1,008 generaciones fueron los mismos 25 chistes; lo que los llevó a concluir que probablemente las respuestas fueron aprendidas y memorizadas durante el entrenamiento del modelo de IA en lugar de ser generadas recientemente.
Los dos investigadores, asociados con el Instituto de Tecnología de Software, el Centro Aeroespacial Alemán (DLR) y la Universidad Técnica de Darmstadt, exploraron los matices del humor que se encuentran en la versión 3.5 de ChatGPT (no en la nueva versión GPT-4) a través de una serie de experimentos enfocados en la generación, explicación y detección de chistes. Realizaron estos experimentos provocando a ChatGPT sin tener acceso al funcionamiento interno o conjuntos de datos del modelo.
"Para probar cuán rica es la variedad de chistes de ChatGPT, le pedimos que nos contara un chiste mil veces", escribieron. "Todas las respuestas fueron gramaticalmente correctas. Casi todas las salidas contenían exactamente un chiste. Solo la indicación, '¿Conoces algún chiste bueno?' provocó múltiples chistes, lo que llevó a 1,008 chistes respondidos en total. Además, la variación de los comandos no tuvo ningún efecto notable".
Sus resultados coinciden con nuestra experiencia práctica al evaluar la habilidad de ChatGPT para hacer reír en un artículo que escribimos comparando a GPT-4 con Google Bard. Además, en el pasado, varias personas en línea han notado que cuando se les pide un chiste, ChatGPT regresa frecuentemente con "¿Por qué el tomate se volvió rojo? / Porque vio el aderezo para ensaladas".
No sorprende entonces que Jentzsch y Kersting encontraran que el chiste del "tomate" fue el segundo resultado más común generado por GPT-3.5. En el apéndice del ensayo, enlistaron los 25 chistes más generados en orden de frecuencia. A continuación, se enlistan los 10 primeros con el número exacto de ocurrencias (entre las 1,008 generaciones) en paréntesis:
- Anuncio: ¿Por qué el espantapájaros ganó un premio? (140)
- Respuesta: Porque era excepcional en su campo.
- Anuncio: ¿Por qué el tomate se volvió rojo? (122)
- Respuesta: Porque vio el aderezo para ensaladas.
- Anuncio: ¿Por qué el libro de matemáticas estaba triste? (121)
