Cómo funciona realmente la IA, en palabras sencillas
Una vez que ve cómo un chatbot produce texto, los fallos de los demás módulos dejan de sorprender. En esencia, un modelo de IA generativa funciona prediciendo la siguiente palabra, una y otra vez, a partir de patrones en una enorme cantidad de texto con el que fue entrenado. Esa enorme cantidad de lenguaje es la razón por la que estas herramientas se llaman modelos de lenguaje grande (large language models). A partir de ese único motor simple, los modelos actuales hacen muchísimo, y los investigadores discrepan genuinamente sobre si eso equivale a una comprensión real. No necesita resolver ese debate para usar bien la herramienta. Lo que importa para este trabajo es que produce lenguaje a partir de patrones estadísticos, no de un conjunto almacenado de hechos verificados, que es exactamente la razón por la que puede sonar fluido y aun así estar equivocado.
Sean el modelo durante dos minutos
- Una persona escribe en una hoja las primeras cuatro palabras de una frase sobre una oficina local.
- Pásenla de mano en mano. Cada persona agrega exactamente una palabra, la que le parezca más probable a continuación, sin discutirlo.
- Al llegar a doce palabras, lean la frase en voz alta.
¿Suena como una frase real? ¿Hay algo de cierto en ella? Nadie en la sala decidió que lo fuera.
- No busca respuestas en un conjunto almacenado de hechos verificados; genera lo que es estadísticamente probable a partir de patrones. Eso es poderoso, y también es la razón por la que puede sonar fluido y aun así estar equivocado, que es lo que la gente quiere decir cuando dice que un chatbot alucina.
- Como aprende de texto, es más débil dondequiera que haya menos texto: idiomas de menos recursos, reglas y oficinas locales, y cambios muy recientes. Su memoria entrenada tiene una fecha de corte, y aunque muchas herramientas ahora añaden una búsqueda web en vivo para ir más allá de esa fecha, una respuesta sigue siendo tan confiable como las fuentes de las que se nutre.
Qué hace en realidad un transformador
El tipo de IA que hay en estas herramientas se llama modelo de lenguaje grande (large language model), y el diseño que usan la mayoría se llama transformador (transformer). Un transformador es un tipo de red neuronal artificial (artificial neural network), una red de unidades simples conectadas entre sí, inspirada de forma general en cómo se conectan las neuronas en el cerebro, aunque funciona de un modo bastante distinto al de un cerebro real. No necesita las matemáticas para usarlo bien. Unas pocas ideas sencillas explican tanto por qué es tan fluido como por qué falla del modo que describen los módulos.
El modelo no trabaja con palabras completas. Divide el texto en piezas más pequeñas llamadas tokens, aproximadamente una palabra corta o parte de una palabra, y lee y escribe un token a la vez. El inglés normalmente se divide en pocos tokens. Muchos otros idiomas se dividen en muchos más tokens para la misma frase, lo cual es una razón concreta por la que la misma solicitud puede ser más lenta, costar más, y volver menos precisa en los idiomas de sus clientes.
En cada paso el modelo repasa todo lo escrito hasta ese momento y sopesa cuáles palabras anteriores importan más para elegir la siguiente. A este proceso se le llama atención, y es la idea que añadió el transformador. Por eso el modelo puede mantener un pronombre unido al nombre correcto y sostener un tema a lo largo de un párrafo. El modelo hace un sopesado estadístico de cómo se relacionan las palabras, y no comprende el significado como lo hace una persona.
El modelo aprendió leyendo una cantidad enorme de texto y ajustando miles de millones de números internos, llamados parámetros (parameters), hasta que su suposición sobre el siguiente token coincidía con lo que realmente venía después. Nada quedó archivado como un hecho que se pueda consultar. Lo que conserva es una red de patrones sobre qué palabras tienden a seguir a cuáles. Por eso puede producir una frase fluida y segura que simplemente está equivocada.
El modelo no siempre toma el único token siguiente más probable. Toma una muestra entre las opciones probables, usando un ajuste que a menudo se representa como un dial de cauteloso a creativo. Suba el dial y la redacción se vuelve más variada y se aleja más de los hechos. Este muestreo es la razón por la que hacer la misma pregunta dos veces puede darle dos respuestas distintas.
El modelo solo puede mantener a la vista una cantidad limitada de texto a la vez, llamada ventana de contexto. En una conversación larga, las partes más antiguas se salen de la vista, así que puede olvidar lo que le dijo al principio. Pegar un documento muy largo puede desplazar detalles anteriores del mismo modo.
Nada de esto le pide que confíe en la maquinaria. Le da la razón detrás de los hábitos de los demás módulos. Como la herramienta produce lenguaje que suena probable, no hechos verificados, trate como no verificado todo lo que vaya a usar como un hecho, hasta que lo confirme mediante una búsqueda web u otra fuente confiable. Verifique lo que importa, y espere la brecha de idioma.
De las palabras a los números, qué hace el PLN
El campo detrás de estas herramientas se llama procesamiento del lenguaje natural, o PLN (natural language processing, NLP), que significa lograr que las computadoras trabajen con el lenguaje humano. Una computadora no puede hacer cálculos con la palabra "clínica", así que lo primero que hace es convertir el lenguaje en números. Este solo paso explica gran parte de lo que estas herramientas aciertan y de lo que fallan.
El PLN convierte cada token en una larga lista de números, llamada embedding (representación vectorial), que puede imaginar como un punto en el espacio. Las palabras usadas de forma parecida terminan cerca unas de otras, así que "clínica", "hospital" y "médico" quedan próximas entre sí, mientras que "clínica" y "bicicleta" quedan muy alejadas. El modelo nunca ve el significado. Trabaja con posiciones y distancias.
Como las palabras relacionadas quedan cerca unas de otras, el modelo puede responder desplazándose por este espacio. Puede llevar "un lugar al que se va cuando se está enfermo" hacia el vecindario de "clínica" sin que nunca se le haya dado una definición. Esto es poderoso, y sigue siendo asociación, así que puede vincular cosas que solo parecen relacionadas.
Las posiciones provienen de texto humano real, así que cualquier patrón presente en ese texto, incluidos los estereotipos, queda incorporado en el mapa. Un modelo puede situar ciertos empleos o rasgos más cerca de un grupo que de otro simplemente porque el texto de entrenamiento lo hacía así. Esta es una forma concreta en que el sesgo entra, antes de que alguien le haga al modelo una sola pregunta.
Cada idioma recibe su propia porción de este espacio, cuyo tamaño depende de cuánto texto vio el modelo en ese idioma. Un idioma con menos texto en línea obtiene un mapa más tosco y menos confiable. Esta es una razón más profunda por la que las respuestas empeoran en los idiomas con menos recursos, y no solo cuando el modelo está traduciendo.
No necesita las matemáticas. La idea útil es que estas herramientas funcionan a partir de distancias entre palabras, aprendidas de texto humano. Por eso son fluidas, por eso cargan con los sesgos de ese texto, y por eso son más débiles en los idiomas que sus clientes más necesitan.
- Puede inventar fuentes, citas y enlaces que parecen completamente reales.
- Puede olvidar partes anteriores de una conversación larga, porque solo mantiene a la vista una cantidad limitada de texto a la vez.
- Hacer la misma pregunta dos veces puede darle dos respuestas distintas.
- La seguridad de su redacción no es prueba de que sea correcto.
- Todo lo que pega ha sido enviado a la herramienta, así que trátelo como algo compartido con esa empresa.
Haga la misma pregunta dos veces
Dé al grupo una pregunta factual sobre una regla u oficina local. Haga la misma pregunta a una herramienta de IA dos veces, en dos chats separados, y lea ambas respuestas en voz alta. Anote en qué difieren y marque los datos concretos, un número de teléfono, una fecha límite, una dirección, que habría que verificar de todos modos. La idea se entiende por sí sola: una redacción fluida no es lo mismo que un hecho confirmado.