El martes, 24 expertos en IA, incluidos los ganadores del Premio Turing Geoffrey Hinton y Yoshua Bengio, publicaron un documento que insta a los gobiernos a tomar medidas para gestionar los riesgos de la IA. El documento de política se centró especialmente en los riesgos extremos que plantean los sistemas más avanzados, como la habilitación de actividades criminales o terroristas a gran escala.

El documento realiza varias recomendaciones políticas concretas, como garantizar que las principales empresas tecnológicas y los financiadores públicos destinen al menos un tercio de su presupuesto de I+D en IA a proyectos que promuevan un uso seguro y ético de la IA. Los autores también solicitan la creación de estándares nacionales e internacionales.

Bengio, director científico del Instituto de Aprendizaje Automático de Montreal, señala que el objetivo del documento es ayudar a los responsables de la formulación de políticas, a los medios de comunicación y al público en general "a comprender los riesgos y algunas de las cosas que debemos hacer para lograr que los sistemas de IA hagan lo que queremos".

Las recomendaciones no rompen nuevos esquemas. En cambio, los coautores del documento están respaldando la opinión consensuada entre los investigadores de políticas de IA preocupados por los riesgos extremos (coinciden estrechamente con las políticas más populares identificadas en una encuesta de expertos realizada en mayo).

"Queríamos presentar un pensamiento claro sobre la seguridad de la IA, razonablemente libre de influencias de intereses creados", dijo Stuart Russell, profesor de informática en la Universidad de California, Berkeley, y uno de los coautores de la carta, en un correo electrónico a TIME.

La declaración de esta semana difiere de las cartas abiertas anteriores lideradas por expertos, según Russell, porque "los gobiernos han comprendido que existen riesgos reales. Le están preguntando a la comunidad de IA: '¿Qué se debe hacer?' La declaración es una respuesta a esa pregunta".

Otros coautores incluyen al historiador y filósofo Yuval Noah Harari, y a Dawn Song, becaria del programa MacArthur y profesora de informática en la Universidad de California, Berkeley, junto con otros académicos de diversos países y campos.

El documento es la tercera declaración destacada firmada por expertos en IA este año, como parte de un esfuerzo creciente para alertar sobre los posibles riesgos del desarrollo no regulado de la IA. En marzo, una carta abierta que pedía a los laboratorios de IA que "suspendieran de inmediato durante al menos 6 meses el entrenamiento de sistemas de IA más poderosos que GPT-4" fue firmada por decenas de miles de personas, incluidas Elon Musk, Bengio y Russell.

En mayo, una declaración organizada por el Centro de Seguridad de la Inteligencia Artificial afirmó que "mitigar el riesgo de extinción debido a la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear". La declaración fue firmada por más de 500 destacados académicos y líderes de la industria, incluyendo una vez más a Hinton, Bengio y Russell, pero también a los CEOs de tres de las empresas de IA más prominentes: Sam Altman de OpenAI, Demis Hassabis de DeepMind y Dario Amodei de Anthropic.

Pieter Abbeel, cofundador, presidente y científico jefe de la compañía de robótica Covariant.ai, y profesor de ingeniería eléctrica y ciencias de la computación de la Universidad de California, Berkeley, firmó el artículo de esta semana a pesar de no haber firmado cartas abiertas anteriores. Abbeel le dijo a TIME que el tono cautelosamente optimista de esta declaración más reciente se ajusta mejor a su punto de vista que los tonos más alarmantes de las cartas abiertas anteriores. "Si hacemos las cosas bien, y tenemos muchas cosas que hacer bien, podemos ser muy optimistas sobre el futuro", dice.

Leer más: La carrera armamentista de la IA lo está cambiando todo

Los investigadores de IA llevan mucho tiempo intentando llamar la atención sobre los riesgos potenciales planteados por la tecnología que ayudaron a desarrollar. En 2016, Hinton, Bengio y Russell firmaron una carta organizada por el Instituto Future of Life, una organización sin fines de lucro que tiene como objetivo reducir los riesgos catastróficos y existenciales a nivel mundial, y que pedía una "prohibición de armas autónomas ofensivas más allá del control humano significativo".

Históricamente, los científicos han dado la alarma y han sido defensores tempranos de problemas relacionados con su investigación. Los científicos del clima llevan llamando la atención sobre el problema del calentamiento global desde la década de 1980. Y después de liderar el desarrollo de la bomba atómica, Robert Oppenheimer se convirtió en un defensor vocal del control internacional e incluso de la abolición completa de las armas nucleares.

Bengio dice que su defensa de políticas de IA ha evolucionado a medida que su "comprensión del problema y la política relacionada ha mejorado enormemente".

Leer más: Por qué los temores nucleares de Oppenheimer son igual de relevantes hoy en día

Una de las políticas recomendadas en el nuevo informe es exigir a las empresas que soliciten una licencia antes de desarrollar "modelos futuros excepcionalmente capaces". Sin embargo, algunos desarrolladores de IA y comentaristas han advertido que la licencia beneficiaría a las grandes empresas que pueden soportar la carga regulatoria necesaria para obtenerla.

Bengio califica esto como un "argumento completamente falso", señalando que la carga impuesta por la licencia recaería exclusivamente en las empresas que desarrollan los modelos de IA más grandes y capacitados. En cambio, Bengio sostiene que el verdadero riesgo de captura regulatoria sería si se permitiera a las empresas influir en la legislación de manera que no sea lo suficientemente sólida.

Russell afirma que el argumento de que las grandes empresas de IA están buscando cínicamente la regulación para excluir a las empresas más pequeñas es "un completo absurdo", argumentando que aunque hay más regulaciones sobre las tiendas de sándwiches que sobre las empresas de IA, cada año se abren decenas de miles de cafeterías y restaurantes nuevos.

Leer más: El acalorado debate sobre quién debe controlar el acceso a la IA

El nuevo informe llega en un momento crucial, con reglas en las principales jurisdicciones de desarrollo de IA en diferentes etapas de madurez. China está más avanzada: sus reglas que regulan los chatbots de IA, que se basan en rondas anteriores de regulación de IA, entraron en vigor en agosto.

Los países occidentales están más rezagados. El Acta de IA de la UE aún está avanzando en el proceso regulatorio de la UE. En Estados Unidos, la Casa Blanca ha obtenido compromisos voluntarios de 15 principales desarrolladores de IA, pero el Congreso todavía está lejos de aprobar legislación sobre IA.

Mientras tanto, el primer ministro del Reino Unido, Rishi Sunak, está intentando desempeñar un papel clave en la promoción de la cooperación internacional en temas de IA, y el Secretario General de la ONU, António Guterres, y su enviado en tecnología, Amandeep Gill, también están tratando de promover la gobernanza global de la IA.

"Si los gobiernos actúan ahora, con determinación", dice Russell, "existe la posibilidad de que aprendamos cómo hacer que los sistemas de IA sean seguros antes de aprender cómo hacer que sean tan poderosos que se vuelvan incontrolables".

Corrección, octubre

24

La versión original de esta historia incorrectamente describió la naturaleza del documento publicado. Es un artículo, no una carta abierta.