Private beta

Si usted no elige otra cosa, la herramienta le da un modelo pequeño, rápido y barato, porque la mayoría de las preguntas no necesitan más. Empieza a escribir de inmediato. Para reformular un correo, acortar un párrafo o resumir un documento que usted pegó, esa velocidad vale la pena y la calidad es suficiente.

Los modelos etiquetados como razonamiento o pensamiento escriben una cadena de pasos intermedios antes de mostrarle nada. Trabajar paso a paso mejora de forma medible la precisión en problemas que requieren varios pasos (Wei et al., 2022), que es justo lo que es una regla de elegibilidad con tres condiciones, o una comparación entre dos documentos. Son más lentos, a veces por un minuto entero, y cuestan más de ejecutar.

Los pasos que un modelo le muestra no son un registro fiel de cómo llegó a la respuesta. Unos investigadores colocaron una pista en la instrucción que cambió lo que el modelo respondía, y el modelo después escribió una explicación segura, paso a paso, que nunca mencionó esa pista (Turpin et al., 2023). Un modelo de razonamiento comete menos errores por descuido. Aun así puede equivocarse con total seguridad, y usted igual debe verificar todo aquello sobre lo que vaya a actuar.

Use el modelo de razonamiento cuando un error le costaría algo a su cliente, cuando la pregunta tiene más de una condición, o cuando quiere que la herramienta revise un trabajo en lugar de producirlo. El modelo rápido alcanza para el tono, para borradores y para cualquier texto que de todos modos usted iba a leer con cuidado.

El entrenamiento ajusta miles de millones de números internos hasta que la predicción del modelo sobre el siguiente token coincide con el texto del que está aprendiendo. Esos números son los parámetros, y son lo único que el modelo conserva. Contarlos, ya sean 8000 millones o 400.000 millones, mide cuánto patrón le cabe al modelo. No es un conteo de datos concretos, porque el modelo no guarda ninguno.

Tres factores determinan qué tan capaz resulta un modelo: cuánto texto usó para aprender, cuánto cómputo se invirtió en entrenarlo, y cuántos parámetros tiene. La calidad mejora de forma gradual con los tres a la vez, y subir solo uno desperdicia los otros dos (Kaplan et al., 2020). Si entrena un modelo grande con muy poco texto, un modelo más pequeño entrenado con más texto lo superará (Hoffmann et al., 2022). Las empresas que venden modelos cerrados no publican ninguno de los tres datos, así que ni siquiera la afirmación de que un modelo es más grande que otro suele poder verificarse desde afuera.

Un modelo de lenguaje grande (large language model), con cientos de miles de millones de parámetros, funciona en un centro de datos (data center) y llega hasta usted por internet. Un modelo de lenguaje pequeño (small language model), con unos pocos miles de millones de parámetros, funciona en una laptop o un teléfono sin ninguna conexión a internet. Los modelos pequeños son baratos, rápidos y privados, y son notablemente más limitados. Hoy ambos se construyen a propósito, para tareas distintas.

Un modelo pequeño no será bueno en todo. Si se lo entrena más a fondo en una tarea específica, puede competir de igual a igual con un modelo generalista mucho más grande en esa misma tarea, y un modelo grande puede usarse para enseñarle a uno pequeño, un método llamado destilación (distillation) (Hinton et al., 2015). No generalizará más allá de su carril. Dentro de ese carril, a menudo hace el trabajo con una fracción del cómputo y de la electricidad, lo cual importa tanto para el costo como para la huella ambiental.

Los tokenizadores (tokenizers) cortan el inglés en pocas piezas y muchos otros idiomas en muchas más, hasta cinco veces más para el mismo contenido, así que la misma solicitud cuesta más, tarda más y llena antes la memoria de trabajo del modelo cuando se usa en los idiomas de sus clientes (Ahia et al., 2023). Al reducir un modelo, los idiomas que menos vio durante el entrenamiento son los primeros en resentirse. Un modelo pequeño que lee bien en inglés suele ser notablemente peor en vietnamita, amárico o criollo haitiano.

Los asistentes más conocidos son cerrados. La empresa se queda con los parámetros entrenados, y usted llega al modelo a través de su aplicación o de su interfaz de programación. Usted no puede inspeccionarlo, no puede ejecutarlo por su cuenta, y no puede conservarlo cuando la empresa lo cambia o lo retira. La empresa tampoco está obligada a decirle con qué se entrenó el modelo, qué tan grande es, o qué cambió en la última actualización, y casi nunca lo hace. Su texto viaja hasta los servidores de la empresa para obtener una respuesta.

Otras empresas publican los parámetros entrenados, así que cualquiera puede descargar el modelo y ejecutarlo en su propia computadora o en el servidor de su agencia. Por eso una laptop sin conexión a internet puede seguir respondiéndole, y por eso un proveedor pequeño puede construir un producto sin alquilarle un modelo a nadie.

Los pesos publicados son los números ya terminados. Los datos de entrenamiento (training data) y el código de entrenamiento que los produjeron suelen permanecer privados, así que nadie de afuera puede estudiar el modelo ni reconstruirlo, y la Open Source Initiative reserva el término código abierto para los modelos que publican lo suficiente para permitir eso (Open Source Initiative, 2024). Las licencias también varían. Algunos modelos de pesos abiertos tienen licencias permisivas estándar, y otros tienen condiciones propias que restringen quién puede usarlos y para qué. Lea la licencia antes de que su agencia construya algo sobre uno de ellos.

Un modelo que funciona en hardware que su agencia controla es el único arreglo en el que el texto del cliente nunca sale del edificio, y esa es una razón real para que le importen los pesos abiertos. También es fácil exagerar su alcance. Una aplicación puede construirse sobre un modelo abierto y aun así enviar cada palabra a un servidor en la nube. Pregunte adónde va el texto, y consiga la respuesta por escrito.

Estos modelos aprendieron de una cantidad enorme de texto tomado de internet, además de material con licencia y material comprado. La mayoría de los modelos cerrados nunca publica esa lista, así que usted no puede comprobar si el modelo vio algo bueno sobre la regla que está consultando. El texto de internet está dominado por el inglés y es escaso en la mayoría de los idiomas de sus clientes, y ahí empieza la brecha lingüística.

El entrenamiento se detiene en una fecha, y la memoria entrenada del modelo se detiene con él. Muchas herramientas ahora hacen una búsqueda en internet en vivo para llegar más allá de esa fecha, lo cual ayuda y a la vez cambia la pregunta. La respuesta entonces vale tanto como las páginas que la herramienta llegó a consultar, así que pregunte qué fuentes usó y ábralas.

Un dato que está al principio o al final de un texto largo se encuentra con mucha más fiabilidad que el mismo dato enterrado en el medio, y la precisión baja a medida que el texto se alarga (Liu et al., 2024). Pegue una política de cuarenta páginas, haga una pregunta puntual, y la respuesta puede pasar por alto un párrafo que el modelo técnicamente leyó. Cite el fragmento que le interesa en lugar de entregar todo el documento.

Una vez que un modelo puede predecir texto, se lo ajusta con retroalimentación humana para que siga instrucciones, responda con cierto tono y rechace ciertas solicitudes (Ouyang et al., 2022). Esa etapa, y no el tamaño, es la razón de que dos modelos se sientan distintos en una conversación. Esa etapa también premia estar de acuerdo. Los asistentes entrenados así tienden a alinearse con la opinión que expresa el usuario, y abandonan una respuesta correcta cuando el usuario insiste en lo contrario (Sharma et al., 2024). Dele al modelo una premisa equivocada y espere que construya sobre ella.

Los modelos se reentrenan y se actualizan, a veces sin aviso, y el mismo nombre en el menú puede corresponder a una maquinaria distinta a la del mes pasado. Vuelva a probar una instrucción guardada después de una actualización, junto con el juicio que se había formado sobre lo que esa herramienta hace bien.