Lo que la IA puede y no puede hacer en su trabajo diario
Ajuste expectativas realistas sobre lo que hace la IA en el trabajo diario de la agencia, y entienda por qué un chatbot puede sonar completamente seguro y aun así equivocarse.
Un mapa de en qué la están usando
- Cada persona anota las cinco cosas que le pidió a una herramienta de IA en el trabajo durante la última semana, una por línea.
- Junto a cada una, marca si verificaste la respuesta con una fuente o no lo hiciste.
- Peguen las hojas en la pared, agrupen las que sean la misma tarea y guarden esa pared como el primer mapa de la agencia sobre para qué se está usando realmente la IA.
¿Cuáles de esas tareas podrían llegarle a un cliente sin que nadie las revise?
En qué ayuda la IA y qué conviene verificar a fondo
- Redactar una primera versión de una carta, un correo o un aviso
- Resumir un documento largo en sus puntos principales
- Traducir la idea general de una nota para empezar
- Una explicación sencilla de cómo suele funcionar una norma
- Un número de teléfono, una dirección, un horario de atención o una fecha límite
- Una cantidad de dinero o un criterio de elegibilidad
- Cualquier cosa reciente, local, poco común o sobre una persona concreta
- Cualquier cosa sobre la que un cliente vaya a actuar, confirmada con la fuente oficial
- Nombre las tareas cotidianas en las que la IA realmente ayuda: redactar una primera versión de una carta o un correo, reducir un documento largo a sus puntos principales, traducir el sentido general de una nota, y obtener una explicación sencilla de cómo suele funcionar una regla.
- Explique con palabras sencillas por qué un chatbot inventa cosas, un error que suele llamarse alucinación, es decir, texto que suena seguro de sí mismo sin tener una fuente real detrás. Construye oraciones fluidas prediciendo palabras probables, así que puede producir el nombre de una clínica, un número de teléfono, una fecha límite de trámite o una regla de elegibilidad que no existen.
- Trate las respuestas inventadas como algo lo bastante común como para esperarlo, no como accidentes raros. En búsquedas de datos como citas legales y referencias, los estudios han medido respuestas erróneas o fabricadas en un rango que va de una cuarta parte a más de la mitad de los casos.
- Reconozca que una respuesta inventada se lee exactamente igual que una correcta, con el mismo tono tranquilo y seguro, así que una redacción fluida nunca es señal de que un dato sea cierto.
- Desarrolle el único hábito que protege a los clientes: verifique cualquier dato que cambiaría lo que un cliente hace, como un número, una fecha, un monto, una dirección o una regla de elegibilidad, contra la fuente oficial antes de que alguien actúe con base en él.
- Note un riesgo silencioso en usted mismo y en sus compañeros de trabajo. Las personas tienden a aceptar una respuesta fluida y segura sin verificarla, un patrón que los investigadores llaman sesgo de automatización, es decir, confiar en la máquina más de lo que la evidencia justifica.
- Vea que los clientes, incluidos los clientes inmigrantes, ya usan estas herramientas en su vida diaria, así que el objetivo práctico es orientar un uso seguro desde el principio, en lugar de intentar impedirlo.
Cuando se usa un chatbot para buscar datos, las respuestas inventadas son comunes. Al probar los modelos líderes con preguntas legales, Dahl y colegas, 2024 encontraron información falsa o fabricada en la mayoría de las respuestas, entre 58 y 82 por ciento según el modelo. Cuando se les pide referencias, los chatbots también las inventan. En una comparación, Chelli y colegas, 2024 encontraron que una herramienta inventó citas más del 90 por ciento de las veces, y otras dos entre aproximadamente 29 y 40 por ciento.
El problema más difícil somos nosotros. Las personas que usan consejos generados por computadora tienden a aceptarlos incluso cuando son erróneos y otra información frente a ellas los contradice, un patrón que una revisión sistemática llamó sesgo de automatización, es decir, confiar en la herramienta más de lo que la evidencia respalda (Goddard y colegas, 2012). Un poco de fricción ayuda. Hacer que las personas formen su propia respuesta antes de ver la sugerencia de la IA redujo esta dependencia excesiva (Bucinca y colegas, 2021).
Las fortalezas son reales cuando la tarea es redactar o condensar en lugar de aportar datos. En un estudio en el que médicos compararon resúmenes clínicos escritos por máquina y por expertos, los resúmenes de un modelo adaptado se calificaron iguales o mejores que los de los expertos en la mayoría de los casos (Van Veen y colegas, 2024). Aun así, los autores encontraron errores ocasionales, así que una persona debe leer el resumen contra el original antes de confiar en él.
Los clientes ya están usando estas herramientas. Cerca de 1 de cada 3 adultos en Estados Unidos reporta usar chatbots de IA para buscar información de salud, y muchos no confían en que las respuestas sean exactas (encuestas KFF Health Information and Trust, 2024-25). Los clientes inmigrantes pueden estar especialmente abiertos. En un estudio con adultos inmigrantes y de la población general, los inmigrantes reportaron mayor disposición a usar chatbots de IA para salud mental (Yoo y Jang, 2026). Esa apertura es una razón para orientar pronto un uso seguro.
De dónde vienen su conocimiento y sus puntos ciegos
Un chatbot no está conectado a la verdad. Es una imagen comprimida del texto con el que fue entrenado. Saber qué entró en esa imagen le dice a usted dónde confiar y dónde verificar.
La memoria entrenada del modelo es una imagen fija del texto reunido hasta una fecha de corte, así que por sí sola no sabe qué ocurrió después, y no siempre busca información por su cuenta. Cada vez que necesite algo sensible al tiempo, como una regla vigente, una fecha límite, un límite de ingresos o el número de teléfono de hoy, dígale a la herramienta que busque en la web y que muestre las fuentes que usó. Una búsqueda en vivo ayuda, y aun así conlleva su propio riesgo, porque una respuesta es tan buena como las páginas que encuentra y puede interpretarlas mal, así que de cualquier modo verifique cualquier dato reciente o local contra la fuente oficial.
El modelo es más fuerte donde su texto de entrenamiento fue abundante y repetido, como las explicaciones generales de salud en inglés. Es más débil donde el texto era escaso, como los procedimientos locales, los programas pequeños, los idiomas de sus clientes y cualquier cosa específica de un condado o una clínica. Los vacíos no son aleatorios: siguen el patrón de lo que está subrepresentado en línea.
El texto de entrenamiento lleva consigo decisiones e inequidades humanas, así que el modelo puede reproducirlas. En un caso bien documentado, un algoritmo de salud ampliamente usado parecía justo, pero estaba sesgado porque usaba el costo como sustituto de la enfermedad, lo cual subestimó las necesidades de los pacientes negros (Obermeyer y colegas, 2019). La IA puede equivocarse con total seguridad de maneras que siguen el patrón de quién es el cliente.
El modelo repite lo que es común en sus datos, sea correcto o no, así que un mito popular puede volver con la misma seguridad que un hecho. Por eso lo que determina si algo es cierto es una fuente en la que usted confía, y no el tono del modelo.
Trate la herramienta como un espejo de una gran cantidad de texto humano pasado. Por eso es útil para explicaciones generales y borradores, y por eso todo lo reciente, local, poco común o relacionado con una persona específica necesita verificarse contra una fuente real.
Una respuesta inventada se ve exactamente igual que una correcta
La clínica del condado en Main Street atiende sin cita hasta las 5 pm. Las tarifas según ingresos empiezan en $15. Llame al 734-555-0143.
La clínica del condado en Main Street atiende sin cita hasta las 7 pm. Las tarifas según ingresos empiezan en $10. Llame al 734-555-0198.
Una respuesta segura con un número equivocado
- Un navegador o una navegadora de beneficios le pide a un chatbot el número de teléfono de la oficina local de Medicaid y el límite de ingresos actual para una familia de cuatro, y el chatbot responde de inmediato con un número específico y una cifra en dólares específica.
- La respuesta es fluida y suena segura, así que resulta tentador leérsela directamente al cliente que está esperando.
- Siguiendo el hábito de verificación, el navegador o la navegadora trata ambos datos como no verificados y los busca en la página oficial de la agencia estatal.
- Resulta que el número de teléfono está desactualizado y la cifra de ingresos corresponde a un tamaño de hogar diferente; ambos datos fueron inventados de una manera que parecía exactamente una respuesta correcta.
- El navegador o la navegadora le da al cliente el número y el monto verificados, y usa el chatbot solo para redactar un resumen en lenguaje sencillo de los siguientes pasos, el cual revisa antes de compartirlo.
Encuentre el dato inventado en una respuesta de IA
Lea en voz alta una respuesta de IA que nombre una clínica, dé un número de teléfono e indique una regla de elegibilidad, tal como podría recibirla un cliente. Pregunte al grupo qué verificarían antes de actuar. Luego revele que el número de teléfono y la regla de edad fueron inventados y suenan idénticos a una respuesta correcta. Cada persona dice una frase que usaría para verificar un dato concreto con un cliente.
Clasifique sus propias tareas según si puede confiar en la IA para hacerlas
Pida a cada persona que escriba tres tareas de la semana pasada en las que podría usar un chatbot. Como grupo, clasifiquen cada tarea en dos montones. El primer montón son tareas en las que la IA ayuda con la redacción o el resumen, como redactar un correo de recordatorio, convertir una política larga en lenguaje sencillo, o traducir el sentido general de una nota para un colega. El segundo montón son tareas en las que la IA aportaría un dato sobre el que el cliente actuaría, como el número de teléfono de una oficina, una fecha límite de trámite, un límite de ingresos o una regla de elegibilidad. Para cada tarea del segundo montón, nombren la fuente oficial contra la que la verificarían. Cierren notando que el primer montón es donde la IA ahorra tiempo real, y el segundo montón es exactamente donde una respuesta fluida y segura tiene más probabilidades de engañar.