El martes de esta semana, el neurocientífico, fundador y autor Gary Marcus se sentó entre el CEO de OpenAI, Sam Altman, y Christina Montgomery, quien es la directora de privacidad y confianza de IBM, mientras los tres testificaron ante el Comité Judicial del Senado por más de tres horas. Los senadores estaban principalmente centrados en Altman porque dirige una de las empresas más poderosas del planeta en este momento y porque Altman les ha pedido repetidamente que ayuden a regular su trabajo. (La mayoría de los CEO suplican al Congreso que deje su industria en paz).

Aunque Marcus ha sido conocido en círculos académicos por algún tiempo, su estrella ha estado en ascenso últimamente gracias a su boletín informativo ("The Road to AI We Can Trust"), su podcast ("Humans vs. Machines") y su preocupación comprensible por el aumento descontrolado de la IA. Además de la audiencia de esta semana, por ejemplo, ha aparecido en televisión Bloomberg este mes y ha sido presentado en la revista Sunday Magazine de The New York Times y en Wired, entre otros lugares.

Debido a que la audiencia de esta semana parecía verdaderamente histórica en ciertas maneras -el senador Josh Hawley caracterizó a la IA como "una de las innovaciones tecnológicas más importantes de la historia humana", mientras que el senador John Kennedy quedó tan encantado con Altman que le pidió a Altman que eligiera sus propios reguladores-, también quisimos hablar con Marcus para discutir la experiencia y ver lo que sabe sobre lo que viene a continuación. Nuestra conversación a continuación ha sido editada por cuestiones de extensión.

¿Aún te encuentras en Washington?

Sigo en Washington. Me estoy reuniendo con los legisladores, su personal y varias otras personas interesantes y tratando de ver si podemos convertir las cosas de las que hablé en realidad.

Has enseñado en NYU. Has cofundado un par de empresas de IA, incluyendo una con el famoso robotista Rodney Brooks. Entrevisté a Brooks en un escenario en 2017 y dijo entonces que no creía que Elon Musk realmente comprendiera la IA y que pensaba que Musk estaba equivocado al decir que la IA era una amenaza existencial.

Creo que Rod y yo compartimos el escepticismo sobre si la IA actual se parece en algo a la inteligencia artificial general. Hay varios temas que se deben desglosar. Uno de ellos es si estamos cerca de la AGI y el otro es qué tan peligrosa es la IA actual que tenemos. No creo que la IA actual sea una amenaza existencial, pero sí que es peligrosa. En muchos sentidos, creo que es una amenaza para la democracia. No es una amenaza para la humanidad. No va a aniquilar a todos los humanos. Pero es un riesgo bastante serio.

No hace mucho tiempo, estabas debatiendo con Yann LeCun, el científico jefe de IA de Meta. No estoy seguro de qué se trataba ese altercado, ¿la verdadera importancia de las redes neuronales de aprendizaje profundo?

Entonces, LeCun y yo en realidad hemos debatido muchas cosas durante muchos años. Tuvimos un debate público que moderó David Chalmers, el filósofo, en 2017. He estado tratando de hacer que [LeCun] tenga otro verdadero debate desde entonces y él no lo hace. Prefiere subtweetearme en Twitter y cosas así, lo cual no creo que sea la forma más madura de tener conversaciones, pero porque es una figura importante, respondo.

Una cosa en la que creo que discrepamos [actualmente] es que LeCun cree que está bien usar estos [modelos de lenguaje grandes] y que aquí no hay ningún daño posible. Creo que está extremadamente equivocado al respecto. Existen amenazas potenciales para la democracia, que van desde la desinformación producida de manera deliberada por actores malintencionados, hasta la desinformación accidental —como el profesor de derecho que fue acusado de acoso sexual aunque no lo cometió—, [hasta la capacidad de] moldear sutilmente las creencias políticas de las personas en base a los datos de entrenamiento de los que el público no sabe nada. Es como las redes sociales, pero aún más insidioso. También se pueden usar estas herramientas para manipular a otras personas y probablemente engañarlas para lograr lo que se quiera. Se pueden escalar masivamente. Aquí definitivamente hay riesgos.

Dijiste algo interesante sobre Sam Altman el martes, diciéndoles a los senadores que no les dijo cuál era su peor temor, lo que llamaste "pertinente", y los redirigiste hacia él. Lo que todavía no dijo nada acerca de armas autónomas, lo que hablé con él hace unos años como una gran preocupación. Me pareció interesante que no se mencionaron las armas.

Cubrimos mucho terreno, pero hay muchas cosas a las que no llegamos, incluyendo la aplicación, que es realmente importante, y la seguridad nacional y las armas autónomas y cosas así. Habrá varios más de estos.

¿Se habló de sistemas abiertos versus sistemas cerrados?

Casi no se mencionó. Obviamente, es una pregunta realmente complicada e interesante. Realmente no está claro cuál es la respuesta correcta. Quieres que la gente haga ciencia independiente. Tal vez quieras tener algún tipo de licencia en torno a las cosas que se van a implementar a muy gran escala, pero tienen riesgos particulares, incluidos los riesgos de seguridad. No está claro que queramos que todo actor malintencionado tenga acceso a herramientas arbitrariamente poderosas. Hay argumentos a favor y en contra, y probablemente la respuesta correcta incluirá permitir un grado justo de código abierto pero también tener algunas limitaciones sobre lo que se puede hacer y cómo se puede implementar.

¿Alguna idea específica sobre la estrategia de Meta de dejar que su modelo de lenguaje salga al mundo para que la gente experimente con él?

No creo que sea genial que [la tecnología de IA de Meta] LLaMA esté ahí fuera, para ser honesto. Creo que fue un poco descuidado. Y, ya sabes, eso literalmente es uno de los genios que está fuera de la botella. No había una infraestructura legal en su lugar; no consultaron a nadie sobre lo que estaban haciendo, que yo sepa. Tal vez lo hicieron, pero el proceso de toma de decisiones con eso o, digamos, Bing, es básicamente: una empresa decide que lo va a hacer.

Pero algunas de las cosas que deciden las empresas podrían causar daño, ya sea en el futuro cercano o a largo plazo. Así que creo que los gobiernos y los científicos deberían tener cada vez más un papel en decidir lo que sale allí [a través de una especie de] FDA para la IA donde, si desea hacer una implementación generalizada, primero hace una prueba. Hablas de los costos y los beneficios. Haces otra prueba. Y eventualmente, si estamos seguros de que los beneficios superan los riesgos, [haces la] implementación a gran escala. Pero en este momento, cualquier empresa en cualquier momento puede decidir implementar algo a 100 millones de clientes y hacerlo sin ningún tipo de supervisión gubernamental o científica. Hay que tener algún sistema donde algunas autoridades imparciales puedan intervenir.

¿De dónde vendrían estas autoridades imparciales? ¿No está trabajando ya todo el que sabe algo sobre cómo funcionan estas cosas para una empresa?

Yo no lo estoy. [El científico de la computación canadiense] Yoshua Bengio no lo está. Hay muchos científicos que no trabajan para estas empresas. Es realmente preocupante cómo conseguir suficientes auditores y cómo darles incentivos para que lo hagan. Pero hay 100.000 científicos de la computación con algún tipo de experiencia aquí. No todos están trabajando para Google o Microsoft como contratistas.

¿Querrías desempeñar un papel en esta agencia de IA?

Estoy interesado, siento que todo lo que construyamos debería ser global y neutral, presumiblemente sin fines de lucro, y creo que tengo una buena voz neutral aquí que me gustaría compartir y tratar de llevarnos a un buen lugar.

¿Cómo se sintió sentado frente al Comité Judicial del Senado? ¿Crees que te invitarán de nuevo?

No me sorprendería si me invitaran de nuevo, pero no tengo idea. Realmente me conmovió profundamente y estuve realmente conmovido de estar en esa habitación. Es un poco más pequeño que en la televisión, supongo. Pero sentí que todos estaban allí tratando de hacer lo mejor que podían por los Estados Unidos, por la humanidad. Todos conocían el peso del momento y, según todos los informes, los senadores trajeron lo mejor de sí mismos. Sabíamos que estábamos allí por una razón y dimos lo mejor de nosotros".