Private beta

Cuando usted pega números en un chat corriente y pide un promedio o un total, el modelo no calcula. Predice cómo debería verse una respuesta escrita, y de ahí vienen los errores silenciosos de aritmética y de redondeo. Hacer que el modelo, en cambio, escriba código que un intérprete real ejecuta sobre los datos elevó la exactitud en unos doce puntos frente al razonamiento escrito, en un conjunto de pruebas de matemáticas y finanzas, porque la computadora hace la aritmética (Chen y colegas, 2023). El código corrige la aritmética; no corrige la elección del método. En un amplio banco de pruebas de estadística, el mejor modelo alcanzó solo alrededor del sesenta y cinco por ciento, y sus errores fueron sobre todo aplicar un método que no se ajustaba a los datos, un error que una persona ocupada difícilmente detectaría (Zhu y colegas, 2024).

En un banco de pruebas que permitía a los modelos usar un intérprete de código en tareas reales de análisis de datos, el código se ejecutó casi siempre, pero solo alrededor del setenta y ocho por ciento de las respuestas calculadas fueron correctas, y solo alrededor del sesenta y cuatro por ciento de los gráficos fueron correctos (Zhang y colegas, 2024). Que el código se ejecute no es lo mismo que la respuesta sea correcta, porque el modelo puede escribir código que lee la columna equivocada, filtra las filas equivocadas, o elige el método equivocado. El problema crece con el tamaño de la tabla: la exactitud en cálculos simples sobre una tabla pegada cayó bruscamente conforme la tabla se alargaba, y las filas duplicadas por sí solas dañaron gravemente los totales de un modelo (Wolff y Hulsebos, 2025). La causalidad es el área más débil de todas; en un banco de pruebas de razonamiento con datos, los modelos manejaron las preguntas estadísticas mucho mejor que las causales, que se ubicaron por debajo de la mitad (Liu y colegas, 2024).

Un gráfico puede renderizarse sin error y aun así codificar los datos de forma incorrecta. En un banco de pruebas de visualización, el mejor modelo produjo un gráfico válido y correcto alrededor de tres cuartas partes de las veces, y aproximadamente uno de cada cinco gráficos se ejecutó pero distorsionó los datos de alguna manera, como un eje equivocado, una asignación equivocada, o una leyenda faltante (Chen y colegas, 2024). Pedirle al modelo que detecte un gráfico engañoso ayuda solo moderadamente y depende mucho de la instrucción, y los modelos son más débiles para detectar problemas de color (Lo y Qu, 2024). La solución que hay que pedir por su nombre es una paleta apta para personas daltónicas; el conjunto Okabe-Ito, ampliamente usado, se mantiene distinguible para aproximadamente uno de cada doce hombres con una deficiencia de visión del color (Wong, 2011).