( The Conversation) – Hay mentes alienígenas entre nosotros. No son los pequeños hombres verdes de la ciencia ficción, sino las mentes alienígenas que alimentan el reconocimiento facial en tu teléfono inteligente, determinan tu solvencia crediticia y escriben poesía y código de computadora. Estas mentes alienígenas son sistemas de inteligencia artificial, el fantasma dentro de la máquina que encuentras a diario.

Pero los sistemas de IA tienen una limitación significativa: gran parte de su funcionamiento interno es impenetrable, lo que los hace fundamentalmente inexplicables e impredecibles. Además, construir sistemas de IA que se comporten de manera que las personas esperen es un desafío importante.

Si no comprendes fundamentalmente algo tan impredecible como la IA, ¿cómo puedes confiar en ella?

Por qué la IA es impredecible

La confianza se basa en la previsibilidad. Depende de tu capacidad para anticipar el comportamiento de los demás. Si confías en alguien y no hace lo que esperas, entonces tu percepción de su confiabilidad disminuye.

Muchos sistemas de IA se basan en aprendizaje profundo de redes neuronales, que de alguna manera emulan el cerebro humano. Estas redes contienen "neuronas" interconectadas con variables o "parámetros" que afectan la fuerza de las conexiones entre las neuronas. A medida que se presenta un conjunto de datos de entrenamiento a una red ingenua, esta "aprende" a clasificar los datos ajustando estos parámetros. De esta manera, el sistema de IA aprende a clasificar datos que no ha visto antes. No memoriza lo que es cada punto de datos, sino que predice qué podría ser un punto de datos.

Muchos de los sistemas de IA más potentes contienen billones de parámetros. Debido a esto, las razones por las cuales los sistemas de IA toman las decisiones que toman son a menudo opacas. Este es el problema de explicabilidad de la IA: la caja negra impenetrable de la toma de decisiones de la IA.

Considera una variación del "Problema del Trolley". Imagina que eres un pasajero en un vehículo autónomo, controlado por una inteligencia artificial (IA). Un niño pequeño se cruza en el camino y la IA ahora debe decidir: atropellar al niño o girar y chocar, potencialmente lesionando a sus pasajeros. Esta elección sería difícil para un humano, pero un humano tiene la ventaja de poder explicar su decisión. Su justificación, moldeada por normas éticas, percepciones de los demás y comportamiento esperado, brinda confianza.

En contraste, una IA no puede racionalizar su toma de decisiones. No puedes mirar bajo el capó del vehículo autónomo a sus billones de parámetros para explicar por qué tomó la decisión que tomó. La IA no cumple con el requisito predictivo para generar confianza.

Comportamiento de la IA y expectativas humanas

La confianza se basa no solo en la previsibilidad, sino también en motivaciones normativas o éticas. Típicamente esperas que las personas actúen no solo como asumes que lo harán, sino también como deberían. Los valores humanos son influenciados por la experiencia común y el razonamiento moral es un proceso dinámico, moldeado por estándares éticos y percepciones de los demás.

A diferencia de los humanos, la IA no ajusta su comportamiento según cómo sea percibida por otros ni se apega a normas éticas. La representación interna de la IA del mundo es en gran medida estática, establecida por sus datos de entrenamiento. Su proceso de toma de decisiones se basa en un modelo inmutable del mundo, sin verse afectado por las interacciones sociales dinámicas y matizadas que constantemente influyen en el comportamiento humano. Los investigadores están trabajando en programar a la IA para que incluya ética, pero eso resulta desafiante.

El escenario del automóvil autónomo ilustra este problema. ¿Cómo puedes asegurarte de que la IA del automóvil tome decisiones que se alineen con las expectativas humanas? Por ejemplo, el automóvil podría decidir que golpear al niño es el curso de acción óptimo, algo que la mayoría de los conductores humanos evitarían instintivamente. Este problema es el problema de alineación de la IA y es otra fuente de incertidumbre que genera barreras para la confianza. El experto en IA Stuart Russell explica el problema de alineación de la IA.

Sistemas críticos y confianza en la IA

Una forma de reducir la incertidumbre y aumentar la confianza es asegurarse de que las personas estén involucradas en las decisiones que toman los sistemas de IA. Esto es lo que se hace en el enfoque adoptado por el Departamento de Defensa de los Estados Unidos, que requiere que, para todas las tomas de decisiones de la IA, un humano esté presente ya sea en el ciclo o fuera del ciclo".

En el bucle significa que el sistema de IA realiza una recomendación, pero se requiere la intervención humana para iniciar una acción. Fuera del bucle significa que aunque un sistema de IA pueda iniciar una acción por sí mismo, un monitor humano puede interrumpirlo o modificarlo.

Mientras mantener a los humanos involucrados es un gran primer paso, no estoy convencido de que esto sea sostenible a largo plazo. A medida que las empresas y los gobiernos continúan adoptando la IA, es probable que el futuro incluya sistemas de IA anidados, donde la toma de decisiones rápida limite las oportunidades para que las personas intervengan. Es importante resolver los problemas de explicabilidad y alineación antes de que se alcance el punto crítico en el que la intervención humana se vuelva imposible. En ese momento, no habrá otra opción que confiar en la IA.

Evitar ese umbral es especialmente importante porque la IA se está integrando cada vez más en sistemas críticos, que incluyen cosas como redes eléctricas, internet y sistemas militares. En los sistemas críticos, la confianza es fundamental y un comportamiento indeseable podría tener consecuencias mortales. A medida que la integración de la IA se vuelve más compleja, es aún más importante resolver los problemas que limitan la confiabilidad.

¿Pueden las personas confiar alguna vez en la IA? La IA es extraña, un sistema inteligente en el cual las personas tienen poco conocimiento. Los humanos son en gran medida predecibles para otros humanos porque compartimos la misma experiencia humana, pero esto no se extiende a la inteligencia artificial, incluso aunque los humanos la hayan creado.

Si la confiabilidad tiene elementos inherentes de previsibilidad y normatividad, la IA carece fundamentalmente de las cualidades que la harían digna de confianza. Más investigaciones en esta área esperamos aclararán este problema, asegurando que los futuros sistemas de IA sean dignos de nuestra confianza.