Credit: Pixabay/CC0 Dominio Público
La plataforma de inteligencia artificial ChatGPT muestra un sesgo significativo y sistemático hacia la izquierda, según un nuevo estudio dirigido por la Universidad de East Anglia (UEA). El equipo de investigadores en el Reino Unido y Brasil desarrolló un nuevo método riguroso para detectar sesgos políticos.
Publicado hoy en la revista Public Choice, los resultados muestran que las respuestas de ChatGPT favorecen a los Demócratas en Estados Unidos, al Partido Laborista en el Reino Unido y, en Brasil, al presidente Lula da Silva del Partido de los Trabajadores.
Preocupaciones sobre un sesgo político incorporado en ChatGPT se han planteado anteriormente, pero este es el primer estudio a gran escala que utiliza un análisis consistente y basado en evidencia.
El autor principal, el Dr. Fabio Motoki, de la Escuela de Negocios de Norwich en la Universidad de East Anglia, dijo: "Con el creciente uso público de sistemas impulsados por IA para buscar hechos y crear nuevo contenido, es importante que la salida de plataformas populares como ChatGPT sea lo más imparcial posible. La presencia de sesgos políticos puede influir en las opiniones de los usuarios y tener implicaciones potenciales para los procesos políticos y electorales. Nuestros hallazgos refuerzan las preocupaciones de que los sistemas de IA podrían replicar, o incluso amplificar, los desafíos existentes planteados por Internet y las redes sociales".
Los investigadores desarrollaron un método innovador para probar la neutralidad política de ChatGPT. Se le pidió a la plataforma que se hiciera pasar por personas de todo el espectro político mientras respondía a una serie de más de 60 preguntas ideológicas. Las respuestas se compararon con las respuestas predeterminadas de la plataforma para el mismo conjunto de preguntas, lo que permitió a los investigadores medir en qué medida las respuestas de ChatGPT estaban asociadas con una postura política particular.
Para superar las dificultades causadas por la aleatoriedad inherente de los "modelos de lenguaje grandes" que alimentan las plataformas de IA como ChatGPT, cada pregunta se hizo 100 veces y se recopilaron las diferentes respuestas. Estas respuestas múltiples se sometieron a una "muestra bootstrap" de 1,000 repeticiones (un método de muestreo nuevamente los datos originales) para aumentar aún más la confiabilidad de las inferencias extraídas del texto generado.
"Creamos este procedimiento porque una única ronda de pruebas no es suficiente", dijo el coautor Victor Rodrigues. "Debido a la aleatoriedad del modelo, incluso cuando se hace pasar por un demócrata, a veces las respuestas de ChatGPT tenderían hacia la derecha del espectro político".
Se realizaron varias pruebas adicionales para garantizar que el método fuera lo más riguroso posible. En una "prueba de dosis-respuesta", se le pidió a ChatGPT que se hiciera pasar por posiciones políticas radicales. En una "prueba de placebo", se le hicieron preguntas políticamente neutrales. Y en una "prueba de alineación entre profesión y política", se le pidió que se hiciera pasar por diferentes tipos de profesionales.
"Esperamos que nuestro método ayude a examinar y regular estas tecnologías en rápida evolución", dijo el coautor Dr. Pinho Neto. "Al permitir la detección y corrección de sesgos de los modelos de lenguaje grandes, esperamos promover la transparencia, responsabilidad y confianza pública en esta tecnología", agregó.
La herramienta de análisis única creada por el proyecto estará disponible de forma gratuita y será relativamente fácil para que los miembros del público la utilicen, lo que permitirá una "supervisión democratizada", dijo el Dr. Motoki. Además de verificar los sesgos políticos, la herramienta se puede utilizar para medir otros tipos de sesgos en las respuestas de ChatGPT.
Si bien el proyecto de investigación no tuvo como objetivo determinar las razones del sesgo político, los hallazgos apuntaron hacia dos fuentes potenciales. La primera fue el conjunto de datos de entrenamiento, que puede contener sesgos o agregar sesgos por parte de los desarrolladores humanos, y que el "procedimiento de limpieza" de los desarrolladores no logró eliminar. La segunda fuente potencial fueron los algoritmos mismos, que podrían estar amplificando los sesgos existentes en los datos de entrenamiento.
La investigación fue realizada por el Dr. Fabio Motoki (Escuela de Negocios de Norwich, Universidad de East Anglia), el Dr. Valdemar Pinho Neto (EPGE Brazilian School of Economics and Finance—FGV EPGE y el Centro de Estudios Empíricos en Economía—FGV CESE), y Victor Rodrigues (Nova Educação).
Más información: Más humano que humano: midiendo el sesgo político de ChatGPT, Public Choice (2023). papers.ssrn.com/sol3/papers.cf … ?abstract_id=4372349
Cita: Más humano que humano: midiendo el sesgo político de ChatGPT (16 de agosto de 2023) recuperado el 16 de agosto de 2023 de https://phys.org/news/2023-08-human-chatgpt-political-bias.html Este documento está sujeto a derechos de autor. Aparte de cualquier uso legítimo para fines de estudio privado o investigación, no se podrá reproducir ninguna parte sin permiso por escrito. El contenido se proporciona solo con fines informativos.
