Un estudio sugiere que los chatbots de inteligencia artificial, como ChatGPT, pueden responder con precisión y confiabilidad preguntas médicas.

Investigadores de la Universidad de Vanderbilt en Nashville, Tennessee, hicieron 284 preguntas al chatbot impulsado por IA y descubrieron que, sin importar la dificultad de las preguntas, pudo proporcionar respuestas confiables.

"El chatbot muestra potencial como herramienta para proporcionar información médica precisa en entornos clínicos", escribieron los investigadores.

ChatGPT captó titulares cuando se lanzó en noviembre. El Chatbot impulsado por IA se anuncia como capaz de responder preguntas e incluso mantener conversaciones utilizando sus algoritmos. Si bien algunos tienen grandes expectativas para el chatbot en el futuro, los escépticos señalan que muchas de las cosas que dice son falsedades flagrantes.

Los investigadores querían probar la precisión del chatbot cuando se trataba de preguntas en el campo médico. Para el estudio, publicado el lunes en JAMA Network Open, los investigadores plantearon 284 preguntas desarrolladas por 33 médicos de 17 especialidades. Las respuestas del chatbot fueron luego evaluadas por médicos que evaluaron la precisión en una escala del uno al seis, siendo la puntuación más alta de seis indicativa de una precisión perfecta.

En general, ChatGPT obtuvo una puntuación promedio de 5.5, o "entre casi completamente y completamente correcto", dijeron los investigadores. Las preguntas se dividieron en tres grupos según la dificultad, "fácil", "media" y "difícil". En promedio, el chatbot obtuvo una puntuación perfecta de seis en preguntas fáciles, 5.5 en preguntas de dificultad media y cinco en preguntas difíciles.

"El chatbot generó información en gran medida precisa para diversas consultas médicas, según lo juzgaron los especialistas médicos académicos, con una mejora con el tiempo, aunque tuvo limitaciones importantes", escribió el equipo de Vanderbilt.

Los científicos ven potencial e incluso creen que estos chatbots podrían ser perfeccionados de manera que les permita ser utilizados en un entorno clínico.

Sin embargo, la IA no fue perfecta. Informan "múltiples casos en los que el chatbot estaba espectacular y sorprendentemente equivocado", lo que indica la necesidad de más salvaguardias.

Concluyen: "Por lo tanto, no es recomendable utilizar la versión actual del chatbot para la difusión de conocimientos médicos y es necesario considerar su potencial para alucinar [o proporcionar respuestas inventadas] al dar conclusiones completamente equivocadas con confianza. Sin embargo, estas respuestas altamente erróneas parecen disminuir dramáticamente con el tiempo".