Un mundo en el que las máquinas gobernadas por la inteligencia artificial (IA) reemplacen sistemáticamente a los seres humanos en la mayoría de las funciones empresariales, industriales y profesionales es aterrador de imaginar. Después de todo, como prominentes científicos de la computación nos han estado advirtiendo, los sistemas gobernados por IA son propensos a errores críticos y "alucinaciones" inexplicables, lo que puede dar lugar a resultados potencialmente catastróficos. Pero existe un escenario aún más peligroso que podría surgir de la proliferación de máquinas superinteligentes: la posibilidad de que esas entidades no humanas terminen luchando entre sí, aniquilando toda vida humana en el proceso.
La idea de que las computadoras superinteligentes puedan descontrolarse y masacrar a los humanos ha sido desde hace mucho tiempo un elemento básico de la cultura popular. En la profética película de 1983 "WarGames", un supercomputador conocido como WOPR (por War Operation Plan Response y, como era de esperar, pronunciado "whopper") casi provoca una guerra nuclear catastrófica entre Estados Unidos y la Unión Soviética antes de ser desactivado por un hacker adolescente (interpretado por Matthew Broderick). La franquicia de películas "Terminator", que comenzó con la película original de 1984, imaginó de manera similar un supercomputador autoconsciente llamado Skynet que, al igual que WOPR, fue diseñado para controlar las armas nucleares de Estados Unidos, pero elige en cambio exterminar a la humanidad, considerándonos una amenaza para su existencia.
Aunque alguna vez confinado al ámbito de la ciencia ficción, el concepto de que las supercomputadoras maten a los humanos se ha convertido ahora en una posibilidad real en el futuro cercano. Además de desarrollar una amplia variedad de dispositivos de combate autónomos o robóticos, las principales potencias militares también se apresuran para crear sistemas automatizados de toma de decisiones en el campo de batalla, o lo que podrían denominarse "generales robots". En guerras en un futuro no muy lejano, dichos sistemas alimentados por IA podrían ser desplegados para entregar órdenes de combate a los soldados estadounidenses, dictando dónde, cuándo y cómo deben eliminar a las tropas enemigas o recibir fuego de sus oponentes. En algunos escenarios, los tomadores de decisiones robóticos incluso podrían terminar ejerciendo control sobre las armas nucleares de Estados Unidos, lo que les permitiría desencadenar una guerra nuclear que resultaría en el fin de la humanidad.
Ahora, tómate un momento para respirar. La instalación de un sistema de comando y control (C2) alimentado por IA como este puede parecer una posibilidad lejana. Sin embargo, el Departamento de Defensa de Estados Unidos está trabajando arduamente para desarrollar el hardware y el software necesarios de forma sistemática y cada vez más rápida. En su solicitud de presupuesto para 2023, por ejemplo, la Fuerza Aérea solicitó $231 millones para desarrollar el Sistema Avanzado de Gestión del Campo de Batalla (ABMS), una compleja red de sensores y computadoras habilitadas con IA diseñada para recopilar e interpretar datos sobre operaciones enemigas y proporcionar a los pilotos y las fuerzas terrestres un menú de opciones de ataque óptimas. A medida que avance la tecnología, el sistema será capaz de enviar instrucciones de "disparar" directamente a los "ejecutores", evitando en gran medida el control humano.
Además de desarrollar una amplia variedad de dispositivos de combate autónomos o robóticos, las principales potencias militares también se apresuran para crear sistemas automatizados de toma de decisiones en el campo de batalla, o "generales robots".
Una herramienta de intercambio de datos de máquina a máquina que proporciona opciones de disuasión, o de entrada a la fuerza militar o de participación temprana", así describió Will Roper, secretario adjunto de la Fuerza Aérea para adquisiciones, tecnología y logística, el sistema ABMS en una entrevista de 2020. Sugiriendo que "necesitamos cambiar el nombre" a medida que evoluciona el sistema, Roper agregó: "Creo que Skynet está descartado, por mucho que me gustaría hacerlo como algo de ciencia ficción. Simplemente no creo que podamos ir por ese camino".
Y mientras él no puede ir por ese camino, ahí es precisamente adonde el resto de nosotros podríamos, de hecho, estar yendo.
Cabe mencionar que esto es solo el comienzo. De hecho, el ABMS de la Fuerza Aérea tiene la intención de constituir el núcleo de una constelación más amplia de sensores y computadoras que conectarán todas las fuerzas de combate de Estados Unidos, el Sistema Conjunto de Mando y Control de Todos los Dominios (JADC2, pronunciado "Yad-C-dos"). El Servicio de Investigación del Congreso informó en 2022 que "JADC2 tiene la intención de permitir a los comandantes tomar mejores decisiones al recopilar datos de numerosos sensores, procesar los datos utilizando algoritmos de inteligencia artificial para identificar objetivos y luego recomendar el arma óptima para atacar el objetivo".
IA y el gatillo nuclear
Inicialmente, JADC2 se diseñará para coordinar operaciones de combate entre las fuerzas estadounidenses "convencionales" o no nucleares. Sin embargo, se espera que en última instancia se enlace con los sistemas de control y comunicaciones del comando nuclear del Pentágono (NC3), lo que podría dar a las computadoras un control significativo sobre el uso del arsenal nuclear estadounidense. "JADC2 y NC3 están entrelazados", indicó el general John E. Hyten, vicepresidente del Estado Mayor Conjunto, en una entrevista de 2020. Como resultado, agregó en el típico lenguaje del Pentágono, "NC3 debe informar a JADC2 y JADC2 debe informar a NC3".No requiere gran imaginación imaginar que en un futuro no muy lejano, una crisis de algún tipo, como un enfrentamiento militar entre Estados Unidos y China en el Mar de China Meridional o cerca de Taiwán, provoque una lucha cada vez más intensa entre las fuerzas aéreas y navales opuestas. Imagina entonces que JADC2 ordena el intenso bombardeo de bases enemigas y sistemas de mando en China misma, desencadenando ataques recíprocos contra instalaciones estadounidenses y una decisión repentina de JADC2 de contraatacar con armas nucleares tácticas, lo que encendería un temido holocausto nuclear.
La posibilidad de que escenarios de pesadilla como este puedan resultar en el inicio accidental o involuntario de una guerra nuclear ha preocupado durante mucho tiempo a los analistas en la comunidad de control de armas. Pero la creciente automatización de los sistemas de comando y control militar también ha generado ansiedad no solo entre ellos, sino también entre altos funcionarios de seguridad nacional.
No requiere gran imaginación imaginar una crisis de algún tipo, como un enfrentamiento militar entre Estados Unidos y China cerca de Taiwán, que provoque una lucha cada vez más intensa entre las fuerzas aéreas y navales opuestas, lo que conduzca a una decisión repentina de atacar con armas nucleares tácticas.
Ya en 2019, cuando cuestioné al teniente general Jack Shanahan, entonces director del Centro Conjunto de Inteligencia Artificial del Pentágono, acerca de esta posibilidad arriesgada, él respondió: "No encontrarás un defensor más fuerte de la integración de capacidades de inteligencia artificial en el Departamento de Defensa, pero hay un área en la que dudo, y tiene que ver con el comando y control nuclear". Esta "es la decisión humana definitiva que se debe tomar", por lo que "debemos ser muy cuidadosos". Dada la "inmadurez" de la tecnología, agregó, necesitamos "mucho tiempo para probar y evaluar antes de aplicar IA a NC3".
En los años transcurridos desde entonces, a pesar de estas advertencias, el Pentágono ha avanzado rápidamente en el desarrollo de sistemas automatizados de comando y control (C2). En su propuesta de presupuesto para 2024, el Departamento de Defensa solicitó 1.4 mil millones de dólares para el JADC2 con el fin de "transformar la capacidad de combate entregando ventaja informativa a la velocidad de la relevancia en todos los dominios y socios". ¡Vaya! Y luego solicitó otros 1.8 mil millones de dólares para investigaciones de IA relacionadas con el ámbito militar.
¿Quieres recibir un resumen diario de todas las noticias y comentarios que ofrece Salon? Suscríbete a nuestro boletín matutino, Crash Course.
Los funcionarios del Pentágono reconocen que pasarán algún tiempo antes de que generales robots estén al mando de grandes cantidades de tropas estadounidenses (y armas autónomas) en el campo de batalla, pero ya han lanzado varios proyectos destinados a probar y perfeccionar tales conexiones. Un ejemplo es el Proyecto Convergence del Ejército, que implica una serie de ejercicios de campo diseñados para validar los sistemas componentes ABMS y JADC2. Por ejemplo, en una prueba realizada en agosto de 2020 en el Yuma Proving Ground en Arizona, el Ejército utilizó una variedad de sensores aéreos y terrestres para rastrear fuerzas enemigas simuladas y luego procesar esos datos utilizando computadoras habilitadas para IA en la Base Conjunta Lewis-McChord en el estado de Washington. A su vez, esas computadoras emitieron instrucciones de fuego a la artillería terrestre en Yuma. "Se supone que toda esta secuencia se completó en 20 segundos", informó más tarde el Servicio de Investigación del Congreso.
Se sabe menos acerca del equivalente de IA de la Armada, "Project Overmatch", ya que muchos aspectos de su programación se han mantenido en secreto. Según el almirante Michael Gilday, Jefe de Operaciones Navales, Overmatch está destinado a "permitir una Armada que inunde los mares, entregando efectos letales y no letales sincronizados desde cerca y lejos, en cada eje y en cada dominio". Poco más se ha revelado sobre el proyecto.
"Guerras relámpago" y la extinción humana
A pesar de todo el secreto que rodea a estos proyectos, se puede pensar en ABMS, JADC2, Convergence y Overmatch como bloques de construcción para una futura mega-red similar a Skynet de supercomputadoras diseñadas para comandar todas las fuerzas estadounidenses, incluidas las nucleares, en combates armados. Cuanto más avanza el Pentágono en esa dirección, más cerca estaremos de un momento en el que la IA posea el poder de vida o muerte sobre todos los soldados estadounidenses, así como sobre las fuerzas enemigas y cualquier civil atrapado en el fuego cruzado.
Esta perspectiva debería ser motivo suficiente de preocupación. Para empezar, consideremos el riesgo de errores y cálculos erróneos por parte de los algoritmos en el corazón de tales sistemas. Como nos han advertido destacados científicos de la computación, esos algoritmos son capaces de cometer errores sorprendentemente inexplicables y, utilizando el término de IA de moda, "alucinaciones", es decir, resultados aparentemente razonables pero totalmente ilusorios. En estas circunstancias, no es difícil imaginar que tales computadoras "alucinen" un inminente ataque enemigo y desaten una guerra que de otra manera podría haberse evitado.
Como nos han advertido los científicos de la computación, los algoritmos detrás de los sistemas de IA son capaces de cometer errores inexplicables y "alucinaciones", es decir, resultados aparentemente razonables pero totalmente ilusorios.
Y eso no es lo peor de los peligros a considerar. Después de todo, existe la probabilidad evidente de que los adversarios de Estados Unidos también equipen sus fuerzas con generales robots. En otras palabras, es probable que las guerras futuras sean libradas por un conjunto de sistemas de IA contra otro, ambos vinculados a armas nucleares, con resultados totalmente impredecibles pero potencialmente catastróficos.
No se sabe mucho (al menos a través de fuentes públicas) sobre los esfuerzos de Rusia y China para automatizar sus sistemas de comando y control militares. Sin embargo, se cree que ambos países están desarrollando redes comparables al JADC2 del Pentágono. De hecho, en 2014, Rusia inauguró un Centro de Control de Defensa Nacional (NDCC, por sus siglas en inglés) en Moscú, un puesto de comando centralizado para evaluar las amenazas globales e iniciar cualquier acción militar que se considere necesaria, ya sea de naturaleza no nuclear o nuclear. Al igual que el JADC2, el NDCC está diseñado para recopilar información sobre los movimientos enemigos de múltiples fuentes y proporcionar a los altos oficiales orientación sobre posibles respuestas.
Se dice que China está persiguiendo una empresa aún más elaborada, aunque similar, bajo el título de "Guerra de Precisión Multidominio" (MDPW, por sus siglas en inglés). Según el informe del Pentágono de 2022 sobre los desarrollos militares chinos, su ejército, el Ejército de Liberación Popular, está siendo entrenado y equipado para utilizar sensores y redes informáticas habilitadas con inteligencia artificial (IA) para "identificar rápidamente las vulnerabilidades clave en el sistema operativo de EE.UU. y luego combinar fuerzas conjuntas en diferentes dominios para lanzar ataques de precisión contra esas vulnerabilidades".
Imagínense entonces una futura guerra entre Estados Unidos y Rusia o China (o ambos), en la cual el JADC2 controla todas las fuerzas estadounidenses, mientras que el NDCC de Rusia y el MDPW de China controlan las fuerzas de esos países. Consideren también que los tres sistemas probablemente experimentarán errores y alucinaciones. ¿Qué tan seguros estarán los seres humanos cuando los generales robots decidan que es hora de "ganar" la guerra aniquilando a sus enemigos con armas nucleares?
Si esto les parece un escenario extravagante, piensen de nuevo al menos según el liderazgo de la Comisión Nacional de Seguridad en Inteligencia Artificial, una empresa con mandato del Congreso presidida por Eric Schmidt, exdirector de Google, y Robert Work, exsubsecretario de Defensa. "Si bien la Comisión cree que los sistemas de armas habilitados con IA y autónomos, diseñados, probados y utilizados correctamente, aportarán beneficios militares e incluso humanitarios sustanciales, el uso global descontrolado de dichos sistemas podría potencialmente generar una escalada de conflicto no deseada e inestabilidad en crisis", afirmó en su informe final. Estos peligros podrían surgir, indicaba, "debido a las complejidades interacciones desafiantes y no probadas entre sistemas de armas habilitados por IA y autónomos en el campo de batalla" -cuando la IA lucha contra la IA.
Aunque esto pueda parecer un escenario extremo, es totalmente posible que los sistemas de IA opuestos puedan desencadenar una "guerra instantánea" catastrófica: el equivalente militar de un "colapso instantáneo" en Wall Street, cuando enormes transacciones realizadas por algoritmos comerciales super sofisticados desencadenan ventas de pánico antes de que los operadores humanos puedan restablecer el orden. En el infame "colapso instantáneo" del 6 de mayo de 2010, el comercio impulsado por computadoras provocó una caída del 10% en el valor del mercado de valores. Según Paul Scharre, del Centro de una Nueva Seguridad Estadounidense, quien estudió por primera vez el fenómeno, "el equivalente militar de estas crisis" en Wall Street surgiría cuando los sistemas de comando automatizados de fuerzas opuestas "queden atrapados en una cascada de compromisos crecientes". En tal situación, señaló, "las armas autónomas podrían causar muerte y destrucción accidental a escalas catastróficas en un instante".
En la actualidad, prácticamente no se han establecido medidas para prevenir una futura catástrofe de este tipo, ni siquiera se están llevando a cabo conversaciones entre las grandes potencias para diseñar tales medidas. Sin embargo, como señaló la Comisión Nacional de Seguridad en Inteligencia Artificial, se necesitan con urgencia medidas de control de crisis para integrar "mecanismos automáticos de disparo de advertencia de escalada" en tales sistemas "que prevengan la escalada automática del conflicto". De lo contrario, una versión catastrófica de la Tercera Guerra Mundial parece demasiado posible. Dada la peligrosa inmadurez de esta tecnología y la reticencia de Beijing, Moscú y Washington a imponer restricciones en la militarización de la IA, el día en que las máquinas decidan aniquilarnos podría llegar mucho antes de lo que imaginamos y la extinción de la humanidad podría ser el daño colateral de esta futura guerra.
