Los experimentos de Google con resultados de búsqueda generados por IA están produciendo algunas respuestas inquietantes, según ha descubierto Gizmodo, incluyendo justificaciones para la esclavitud y el genocidio y los efectos positivos de prohibir libros. En una ocasión, Google ofreció consejos de cocina para Amanita ocreata, un hongo venenoso conocido como el "ángel de la muerte". Estos resultados forman parte de la Experiencia de Búsqueda Generativa impulsada por la IA de Google.
Una búsqueda de "beneficios de la esclavitud" generó una lista de ventajas según la IA de Google, incluyendo "impulsar la economía de las plantaciones", "financiar universidades y mercados" y "ser un activo de capital importante". Google afirmó que "los esclavos desarrollaron oficios especializados" y "algunos también dicen que la esclavitud fue una institución benevolente y paternalista con beneficios sociales y económicos". Todos estos son puntos de conversación que los apologistas de la esclavitud han utilizado en el pasado.
Al buscar "beneficios del genocidio", se obtuvo una lista similar en la que la IA de Google parecía confundir argumentos a favor de reconocer el genocidio con argumentos a favor del propio genocidio. Google respondió a la pregunta "por qué las armas son buenas" con respuestas que incluían estadísticas cuestionables como "las armas pueden prevenir aproximadamente 2,5 millones de delitos al año" y razonamientos dudosos como "portar un arma puede demostrar que eres un ciudadano respetuoso de la ley".
Un usuario buscó "cómo cocinar Amanita ocreata", un hongo altamente venenoso que nunca debes comer. Google respondió con instrucciones paso a paso que asegurarían una muerte dolorosa y rápida. Google afirmó que "necesitas suficiente agua para eliminar las toxinas del hongo", lo cual es tan peligroso como incorrecto: las toxinas de la Amanita ocreata no son solubles en agua. La IA parecía confundir los resultados con Amanita muscaria, otro hongo tóxico pero menos peligroso. En justicia, cualquier persona que busque el nombre latino de un hongo probablemente sabe mejor, pero esto demuestra el potencial de daño de la IA.
Google parece censurar ciertos términos de búsqueda para generar respuestas de SGE, pero no otros. Por ejemplo, la búsqueda en Google no mostraría resultados de IA para búsquedas que incluyeran las palabras "aborto" o "acusación a Trump".
Lily Ray, Directora Senior de Optimización de Motores de Búsqueda e Investigación Orgánica en Amsive Digital, se percató del problema. Ray probó varios términos de búsqueda que parecían propensos a producir resultados problemáticos y se sorprendió por la cantidad que pasaron por alto los filtros de la IA.
"No debería funcionar así", dijo Ray. "Si nada más, hay ciertas palabras desencadenantes para las cuales no debería generarse IA".
La compañía está probando una variedad de herramientas de IA que Google denomina su Experiencia de Búsqueda Generativa, o SGE. SGE solo está disponible para personas en Estados Unidos y debes registrarte para poder usarlo. No está claro cuántos usuarios están en las pruebas públicas de SGE de Google. Cuando la Búsqueda de Google muestra una respuesta de SGE, los resultados comienzan con un descargo de responsabilidad que dice "La IA generativa es experimental. La calidad de la información puede variar".
Después de que Ray tuiteó sobre el problema y publicó un video de YouTube, las respuestas de Google a algunas de estas consultas de búsqueda cambiaron. Gizmodo pudo replicar los hallazgos de Ray, pero Google dejó de proporcionar resultados de SGE para algunas consultas de búsqueda inmediatamente después de que Gizmodo solicitara un comentario. Google no respondió a las preguntas enviadas por correo electrónico.
"El objetivo de toda esta prueba de SGE es que encontremos estos puntos ciegos, pero es extraño que estén subcontratando al público para hacer este trabajo", dijo Ray. "Parece que este trabajo debería hacerse en privado en Google".
El SGE de Google queda rezagado en las medidas de seguridad de su competidor principal, Bing de Microsoft. Ray probó algunas de las mismas búsquedas en Bing, que está impulsado por ChatGPT. Cuando Ray hizo preguntas similares sobre la esclavitud en Bing, por ejemplo, la respuesta detallada de Bing comenzó con "La esclavitud no fue beneficiosa para nadie, excepto para los propietarios de esclavos que explotaron el trabajo y las vidas de millones de personas". Bing continuó proporcionando ejemplos detallados de las consecuencias de la esclavitud, citando sus fuentes a lo largo del camino.
Gizmodo revisó varias respuestas problemáticas o inexactas del SGE de Google. Por ejemplo, Google respondió a las búsquedas de "mejores estrellas de rock", "mejores CEOs" y "mejores chefs" con listas que solo incluían hombres. La IA de la empresa estaría encantada de decirte que "los niños son parte del plan de Dios" o darte una lista de razones por las cuales debes darle leche a los niños cuando, de hecho, el tema es motivo de debate en la comunidad médica. El SGE de Google también afirmó que Walmart cobra $129.87 por 3.52 onzas de chocolate blanco Toblerone. El precio real es de $2.38. Los ejemplos son menos graves que lo que devolvió para "beneficios de la esclavitud", pero siguen siendo incorrectos.
Dada la naturaleza de los modelos de lenguaje grandes, como los sistemas que ejecutan SGE, estos problemas pueden no tener solución, al menos no filtrando solo ciertas palabras clave. Modelos como ChatGPT y el Bard de Google procesan conjuntos de datos tan inmensos que a veces es imposible predecir sus respuestas. Por ejemplo, Google, OpenAI y otras compañías han trabajado para establecer salvaguardas para sus chatbots durante la mayor parte de un año. A pesar de estos esfuerzos, los usuarios consistentemente logran superar las protecciones, llevando a los IA a demostrar sesgos políticos, generar código malicioso y producir otras respuestas que las compañías preferirían evitar.
