Los chatbots de IA muestran una impresionante capacidad para generar texto claro y coherente a partir de simples indicaciones en lenguaje natural. Pero, ¿qué está sucediendo detrás de escena?
En el siguiente fragmento de Cómo funciona la IA: de la brujería a la ciencia, una publicación reciente de No Starch Press, el autor y programador Ronald Kneusel desglosa los componentes de los modelos de lenguaje grandes (LLM), que alimentan a los populares chatbots de IA como ChatGPT de OpenAI y Google Bard. Kneusel explica cómo los LLM utilizan redes neuronales Transformer, un tipo de arquitectura de IA introducida en 2017, para procesar texto de entrada, lo que les permite identificar relaciones y patrones complejos en conjuntos de datos masivos.
Echa un vistazo al resto de Cómo funciona la IA para obtener un análisis profundo de la historia y el funcionamiento interno de la IA que no involucra matemáticas extensas ni programación. Para más contenido de Kneusel, lee su entrevista con TechTarget Editorial, donde habla del auge de la IA generativa, incluidos los beneficios y limitaciones de los LLM y la importancia de la alineación.
Los modelos de lenguaje grandes son impresionantes y poderosos. Entonces, ¿cómo funcionan? Intentemos dar una respuesta.
Comencemos por el final, con algunos comentarios de la conclusión del artículo "Chispas de Inteligencia Artificial General" mencionado anteriormente:
¿Cómo razona, planifica y crea [GPT-4]? ¿Por qué exhibe una inteligencia tan general y flexible cuando en su núcleo es simplemente la combinación de componentes algorítmicos simples, como el descenso de gradiente y los transformers a gran escala con enormes cantidades de datos? Estas preguntas son parte del misterio y fascinación de los LLM, que desafían nuestra comprensión del aprendizaje y la cognición, alimentan nuestra curiosidad y motivan una investigación más profunda.
Haz clic en la portada del libro para obtener más información sobre 'Cómo funciona la IA'.
Esa cita contiene preguntas que actualmente carecen de respuestas convincentes. En pocas palabras, los investigadores no saben por qué los modelos de lenguaje grandes, como GPT-4, hacen lo que hacen. Ciertamente hay hipótesis en busca de evidencia y prueba, pero hasta que escribo esto, no hay teorías probadas disponibles. Por lo tanto, solo podemos discutir lo que implica un modelo de lenguaje grande y no su cómo se comporta.
Los modelos de lenguaje grandes utilizan una nueva clase de red neuronal, el transformer, así que comenzaremos por ahí. (GPT significa generative pretrained transformer). La arquitectura transformer apareció en la literatura en 2017, con el influyente artículo "Attention Is All You Need" de los investigadores de Google Ashish Vaswani et al. El artículo ha sido citado más de 70,000 veces hasta marzo de 2023.
Tradicionalmente, los modelos que procesan secuencias (como oraciones) utilizaban redes neuronales recurrentes, que envían su salida de vuelta como entrada junto con la siguiente entrada de la secuencia. Este es el modelo lógico para procesar texto porque la red puede incorporar la noción de memoria a través de la salida alimentada junto con el siguiente token. De hecho, los primeros sistemas de traducción de aprendizaje profundo utilizaban redes recurrentes. Sin embargo, las redes recurrentes tienen memorias pequeñas y son difíciles de entrenar, lo que limita su aplicabilidad.
Las redes transformer utilizan un enfoque diferente: aceptan toda la entrada a la vez y la procesan en paralelo. Las redes transformer suelen incluir un codificador y un decodificador. El codificador aprende representaciones y asociaciones entre las partes de la entrada (piensa en oraciones), mientras que el decodificador utiliza las asociaciones aprendidas para producir una salida (piensa en más oraciones).
Los modelos de lenguaje grandes como GPT prescinden del codificador y en su lugar aprenden la representación necesaria de manera no supervisada utilizando un conjunto de datos de texto enorme. Después del preentrenamiento, la parte del decodificador del modelo transformer genera texto en respuesta a la indicación de entrada.
La entrada a un modelo como GPT-4 es una secuencia de texto compuesta por palabras. El modelo divide esto en unidades llamadas tokens. Un token puede ser una palabra, una parte de una palabra o incluso un carácter individual. El preentrenamiento tiene como objetivo mapear los tokens a un espacio de incrustación multidimensional, lo cual hace asociando cada token con un vector que se puede pensar como un punto en ese espacio.
Figura 7-3: Codificación de contexto en el espacio de incrustación El mapeo aprendido de tokens a vectores captura relaciones complejas entre los tokens de modo que los tokens con significados similares están más cerca entre sí que los tokens con significados diferentes. Por ejemplo, como se muestra en la Figura 7-3, después del preentrenamiento, el mapeo (codificación de contexto) colocará "perro" más cerca de "zorro" que de "abrelatas". El espacio de incrustación tiene muchas dimensiones, no solo dos como en la Figura 7-3, pero el efecto es el mismo.
La codificación de contexto se aprende durante el preentrenamiento al obligar al modelo a predecir el siguiente token dado todos los tokens anteriores en una entrada. En efecto, si la entrada es "las rosas son rojas", entonces durante el proceso de preentrenamiento se le pedirá al modelo que prediga el siguiente token después de "las rosas son". Si el token predicho no es "rojo", el modelo utilizará la función de pérdida y la retropropagación para actualizar sus pesos, tomando así un paso de descenso de gradiente después de un promedio adecuado del error sobre un minibatch. A pesar de todas sus habilidades, los modelos de lenguaje grandes se entrenan de la misma manera que otras redes neuronales.
El preentrenamiento permite que el modelo aprenda el lenguaje, incluyendo la gramática y la sintaxis, y aparentemente adquiera suficiente conocimiento sobre el mundo para permitir las habilidades emergentes que han revolucionado el mundo de la IA.
El paso del decodificador toma la indicación de entrada y produce token de salida tras token de salida hasta que se genera un token de parada único. Debido a que gran parte del lenguaje y la forma en que funciona el mundo se aprendió durante el preentrenamiento, el paso del decodificador tiene el efecto secundario de producir resultados extraordinarios aunque al fin y al cabo, el decodificador solo está prediciendo el token más probable después del token más probable.
Más específicamente, durante el proceso de predicción, los modelos estilo GPT utilizan la atención para asignar importancia a los diferentes tokens en la secuencia de entrada, capturando así las relaciones entre ellos. Esta es la diferencia principal entre un modelo transformer y las antiguas redes neuronales recurrentes. El transformer puede prestar atención a diferentes partes de la secuencia de entrada, lo que le permite identificar y utilizar las relaciones entre los tokens incluso si están separados en la entrada.
Cuando se utiliza en modo de chat, los LLM (modelos de lenguaje grande) dan la ilusión de una conversación de ida y vuelta cuando, en realidad, cada nueva indicación del usuario se pasa al modelo junto con todo el texto anterior (las indicaciones del usuario y las respuestas del modelo). Los modelos transformer tienen un ancho de entrada fijo (ventana de contexto), que actualmente es de alrededor de 4,000 tokens para GPT-3.5 y alrededor de 32,000 para GPT-4. La amplia ventana de entrada permite que la parte de atención del modelo retroceda a cosas que aparecieron mucho antes en la entrada, algo que los modelos recurrentes no pueden hacer.
Los modelos de lenguaje grande están listos para su uso después del preentrenamiento, si se desea, pero muchas aplicaciones los ajustan previamente utilizando datos específicos del dominio. Para modelos genéricos como GPT-4, el ajuste fino probablemente consistió en un paso conocido como aprendizaje por refuerzo a partir de la retroalimentación humana (ARRH). En ARRH, el modelo se entrena aún más utilizando comentarios de seres humanos reales para alinear sus respuestas con los valores humanos y las expectativas sociales.
Esto es necesario porque los LLM no son entidades conscientes y, por lo tanto, no pueden comprender la sociedad humana y sus muchas reglas. Por ejemplo, los LLM desalineados responderán con instrucciones paso a paso para muchas actividades que la sociedad humana restringe, como cómo hacer drogas o bombas. El artículo "Sparks" contiene varios ejemplos de las salidas del GPT-4 antes del paso de ARRH que alineó el modelo con las expectativas sociales.
El modelo Alpaca de código abierto de la Universidad de Stanford se basa en LLaMa, un modelo de lenguaje grande de Meta. Hasta la fecha de este escrito, Alpaca no ha pasado por un proceso de alineación y responderá a preguntas que GPT y otros LLM comerciales se niegan a responder correctamente.
Conclusión: la alineación es absolutamente crucial para garantizar que los poderosos modelos de lenguaje se ajusten a los valores humanos y las normas sociales.
