Recientemente, Coleman Hughes entrevistó a Eliezer Yudkowsky, Gary Marcus y Scott Aaronson sobre el tema del riesgo de la inteligencia artificial (IA). Este comentario sobre la dificultad de detectar errores en GPT-4 llamó mi atención:

GARY: Sí, parte del problema al hacer ciencia aquí es que - creo, tú [Scott] sabrías mejor ya que trabajas a tiempo parcial o algo así en OpenAI - pero tengo la sensación de que muchos de los ejemplos que se publican en Twitter, especialmente por personas como yo y otros críticos, o debería decir, otros escépticos, son ejemplos en los que el sistema se entrena. Casi todo lo que la gente escribe sobre él, creo, está en el conjunto de entrenamiento. Así que es difícil hacer ciencia cuando el sistema se entrena constantemente, especialmente en cuanto al aprendizaje por refuerzo de alto rendimiento (RLHF, por sus siglas en inglés). Y en realidad no sabemos qué hay en GPT-4, así que ni siquiera sabemos si hay expresiones regulares y, ya sabes, reglas simples o cosas así. Así que no podemos hacer el tipo de ciencia que solíamos hacer.

Esto es un poco similar al problema al que se enfrentan los pronosticadores económicos. Pueden analizar montones de datos y hacer un pronóstico de recesión o una predicción de alta inflación. Pero la Reserva Federal estará observando sus pronósticos e intentará evitar cualquier mal resultado. Los pronosticadores del tiempo no se enfrentan a ese problema.

Es importante destacar que este "problema de circularidad" es diferente de la crítica estándar de los pronósticos de precios de las acciones en los mercados eficientes. Según la hipótesis de los mercados eficientes, un pronóstico de que una determinada acción tendrá un buen desempeño debido a (información públicamente conocida) X, Y o Z será inefectivo, ya que X, Y y Z ya se reflejan en los precios de las acciones.

En cambio, el problema de circularidad descrito anteriormente se aplica incluso si los mercados no son eficientes. Debido a que los salarios nominales son rígidos, los mercados laborales no son eficientes en el sentido en que los mercados financieros son eficientes. Esto significa que, de no ser por la Reserva Federal, debería ser posible predecir los movimientos en la producción real.

Antes de que se creara la Reserva Federal, podría haber sido posible pronosticar la economía a gran escala. Por ejemplo, un anuncio de un descubrimiento de oro en California podría haber llevado a pronósticos de un mayor crecimiento del producto interno bruto real en 1849. No hay una "compensación monetaria" bajo el patrón oro. Esto sugiere que el cambio a dinero fiduciario debería hacer que los pronósticos económicos sean menos confiables que bajo el patrón oro. Los banqueros centrales comenzarían a intentar demostrar que los pronosticadores están equivocados.

Tendemos a asumir que los campos progresan con el tiempo, que somos más inteligentes que nuestros antepasados. Sin embargo, la lógica de la política monetaria discrecional implica que deberíamos ser peores en pronosticar la economía hoy en día de lo que éramos hace 120 años.

Recordemos esta anécdota famosa:

Durante una visita a la London School of Economics cuando la crisis financiera de 2008 estaba llegando a su punto máximo, la Reina Elizabeth hizo la pregunta que sin duda estaba en la mente de muchos de sus súbditos: "¿Por qué nadie lo vio venir?" La respuesta, al menos por parte del economista de la Universidad de Chicago Robert Lucas, fue contundente: la economía no pudo brindar un servicio útil para la crisis de 2008 porque la teoría económica ha establecido que no puede predecir tales crisis.¹ Como escribe John Kay, "Ante una respuesta así, un soberano sabio buscará consejo en otro lugar". Y así podríamos hacerlo todos.

Si Robert Lucas hubiera predicho exitosamente la crisis de 2008, eso habría significado que no hubiera merecido un Premio Nobel de Economía.

PD. Recomiendo encarecidamente la entrevista de Coleman Hughes. Es el mejor ejemplo que he visto de una discusión sobre la seguridad de la IA que está adaptada a mi nivel. La mayoría de lo que leo sobre IA es demasiado difícil de entender para mí o demasiado básico.

PPD. La sección de comentarios también es interesante. Aquí, un comentarista establece una analogía entre aquellos que piensan que una IA solo puede volverse más inteligente mediante la adición de datos (en contraposición a la autojuego) y las personas que creen que una moneda solo puede tener valor si está "respaldada" por un activo valioso.

Otra forma prevalente (aparentemente) en la que las personas piensan acerca de las limitaciones de los datos sintéticos es que creen que es como hacer preguntas para sacar habilidades que un modelo ya tenía, al sesgar la discusión hacia ciertos tipos de texto de los otros datos de entrenamiento. En otras palabras, afirman que nunca agrega capacidades fundamentalmente nuevas a la imagen. Imagina afirmar eso acerca de un sistema de ajedrez entrenado a través de autojuego...

Muchas de estas formas incorrectas de ver los datos sintéticos me recuerdan un poco a las personas que no comprenden cómo una "moneda fiduciaria" puede tener valor. Piensan que si no está respaldada por oro, por ejemplo, todo el castillo de naipes se vendrá abajo. El valor está en la capacidad que habilita, las cosas que te permite hacer, no en un objeto tangible o externo como el oro (o el conocimiento factual).