Un chatbot de inteligencia artificial (IA) puede ser un ayudante genuinamente útil. Puede explicarle una carta, ayudarle a redactar sus preguntas o orientarlo hacia la atención médica. Pero también puede darle una respuesta equivocada con una voz tranquila y segura, y eso es justamente lo que vale la pena entender. Una vez que sepa por qué sucede esto y cómo verificarlo, podrá aprovechar lo útil de la herramienta y protegerse de sus errores.

Por qué la IA se equivoca

Un chatbot de IA no busca datos como usted busca un número de teléfono. Construye cada respuesta prediciendo palabras probables, una tras otra, basándose en patrones del enorme conjunto de textos con el que fue entrenado. La mayoría de las veces esto funciona bien, porque la información común y conocida aparece con frecuencia en esos textos. El problema es que la IA usa el mismo método sepa o no la respuesta correcta. Cuando no tiene los datos correctos, llena el vacío con palabras que suenan correctas. El resultado puede ser una clínica que no existe, un número de teléfono que nunca fue real o una regla que ya no está vigente.

A esto se le llama alucinación. No es que la IA mienta a propósito. Es la IA haciendo lo que siempre hace, es decir, adivinar la siguiente palabra probable, en un contexto donde adivinar no es suficiente.

Esto no es raro ni solo teórico. Cuando unos investigadores le pidieron a un chatbot que escribiera un texto médico con referencias, la mayoría de las fuentes que dio eran inventadas o inexactas: señalaban estudios que no existían o tenían los datos equivocados (Bhattacharyya et al., 2023). La IA no intentaba engañar a nadie. Estaba completando cómo suele verse una fuente, de la misma manera en que completa un número de teléfono o el nombre de una clínica.

Dónde se equivoca más

Las respuestas de la IA son menos confiables en algunos puntos predecibles. Esté atento a estos:

• Datos específicos, como números de teléfono, direcciones, nombres de clínicas y enlaces de sitios web.
• Reglas que cambian con el tiempo, como quién califica para Medicaid, cuánto cuesta un programa o cuándo vence un plazo.
• Su área local. Una respuesta a nivel nacional puede ser incorrecta para su ciudad o estado.
• Su idioma. Las respuestas de la IA pueden ser menos confiables en idiomas distintos del inglés. Vea La IA puede responder peor en su idioma.

Un tono seguro no le dice nada sobre si la respuesta es correcta. La IA suena igual de segura cuando acierta que cuando se equivoca.

Esto no se trata solo de números de teléfono y direcciones. Los consejos de salud pueden estar equivocados con total seguridad y de maneras que podrían hacerle daño. Cuando unos investigadores probaron a un chatbot con enfermedades comunes usando pacientes simulados, con frecuencia llegó a un diagnóstico correcto (en cerca de 3 de cada 4 casos) y eligió un medicamento razonable (en cerca de 4 de cada 5 casos). Sin embargo, en la mayoría de esos mismos casos también sugirió un medicamento innecesario o potencialmente dañino, incluso cuando el diagnóstico era correcto (Si et al., 2024). Una respuesta fluida y que suena razonable sobre un medicamento o un síntoma es exactamente el tipo de respuesta que debe confirmar con una persona antes de actuar según ella.

Algo más que debe saber: si le dice a la IA que se equivocó, muchas veces simplemente estará de acuerdo y cambiará su respuesta, aunque la primera respuesta fuera correcta. Está diseñada para ser complaciente. Por eso, que cambie de opinión para coincidir con usted no prueba nada, en ningún sentido. La forma de resolver una duda es verificarla contra una fuente real, no discutir con el chatbot hasta que diga lo que usted quiere escuchar.

Un ejemplo breve

Aquí tiene una respuesta inventada con un error realista escondido dentro. Léala primero y trate de detectar el problema.

Usted preguntó: “¿Puedo obtener Medicaid en mi estado?”

Un chatbot respondió: “Sí. Medicaid usa el mismo límite de ingresos en todos los estados, así que si gana menos de $20,000 al año, califica en cualquier parte de Estados Unidos. Solo tiene que inscribirse en la recepción de cualquier hospital.”

Esto suena claro y útil. También está equivocado en un punto importante. Medicaid no usa el mismo límite de ingresos en todos los estados. Cada estado establece sus propias reglas, y los estados difieren mucho en a quién cubren. El número de ingresos único a nivel nacional que aparece en esa respuesta fue inventado para que la respuesta sonara completa. La frase sobre inscribirse “en la recepción de cualquier hospital” es igual de imprecisa.

La señal de alerta es esta: la IA dio una sola regla simple y nacional para algo que en realidad depende de dónde vive usted. Cada vez que una respuesta reduce una regla local y cambiante a una sola oración segura, deténgase y verifique. Su elegibilidad real depende de su estado, el tamaño de su hogar y otros detalles, así que la respuesta honesta sería remitirlo a la oficina de Medicaid de su estado o a una persona que pueda revisar su situación. Puede ver cómo difieren las reglas de un estado a otro y encontrar el programa de su propio estado en Medicaid.gov.

Un hábito de verificación que puede mantener

No necesita verificar cada palabra que dice una IA. Necesita un hábito para las respuestas que sí importan. Aquí lo tiene.

1. Pídale a la IA su fuente. Escriba “¿De dónde viene esto?” o “¿Qué debería revisar para confirmar esto?” Una respuesta útil lo remite a algo específico que puede consultar. Una respuesta que no puede nombrar una fuente es una señal para tener cuidado.
2. Compárela con una guía de LINC o una página oficial. Vea si una guía de este sitio o una página oficial dice lo mismo. Para evaluar información de salud en general, MedlinePlus, de la Biblioteca Nacional de Medicina de Estados Unidos, tiene una guía sencilla sobre cómo evaluar la información de salud.
3. Para todo lo importante, confírmelo con una persona. Una clínica, un trabajador de salud comunitario o un intérprete calificado pueden resolver los detalles antes de que usted actúe. Este es el paso que lo protege en decisiones sobre dinero, papeleo, elegibilidad y atención médica.

Una buena forma de detectar un malentendido a tiempo es repetir la respuesta con sus propias palabras. Después de que el chatbot responda, dígale lo que usted cree que dijo y luego pregunte: “¿Entendí bien?” Repetirlo así a menudo revela un pequeño error antes de que se convierta en uno grande.

Señales de alerta: cuándo detenerse

Algunas respuestas merecen una segunda mirada más que otras. Trate estas como señales para detenerse y verificar antes de actuar:

• Un número, nombre o enlace específico sobre el que vaya a actuar. Un número de teléfono al que llamará, el nombre de una clínica que buscará, una cantidad de dinero, un límite de ingresos, una fecha o una dirección web. Estos son los detalles que la IA inventa con más facilidad.
• Una sola regla simple para algo que en realidad depende de su situación. Si la respuesta reduce una regla local y cambiante a algo como “todos califican si…”, es probable que esté ocultando las partes que dependen de su estado, sus ingresos, su hogar o su estatus migratorio.
• Cualquier cosa sobre dinero, cobertura médica, papeleo o su caso de inmigración. El costo de equivocarse aquí es alto, así que el nivel de exigencia para verificar también debe ser alto.
• Medicamentos y síntomas. Dosis, nombres de medicamentos, qué tomar y cuándo, y si dos medicamentos son seguros juntos. Confirme esto con un farmacéutico, una enfermera o quien le recetó el medicamento.
• Una respuesta que no puede nombrar una fuente. Cuando pregunte “¿De dónde viene esto?” y no pueda señalarle nada específico, trate la respuesta como una suposición.

Si nada de esto aplica, por ejemplo si solo le está pidiendo a la IA que le explique una palabra o redacte un mensaje, puede estar tranquilo. El hábito de verificación es para las respuestas que tienen consecuencias reales.

Una nota sobre las respuestas que muestran fuentes

Algunas herramientas de IA más nuevas ahora muestran enlaces o notas al pie junto con sus respuestas, lo cual es una mejora real. Eso no significa que pueda dejar de verificar. Una IA puede incluir un enlace que parece oficial y aun así describir incorrectamente lo que dice, o señalar una página que en realidad no respalda la afirmación. Cuando una herramienta le da una fuente, lo útil es abrir el enlace usted mismo y leer la parte que importa. El sentido de tener una fuente es que usted pueda verificarla, no simplemente que esté ahí.

Verificar no es desconfiar

Formar el hábito de verificar no significa que la herramienta sea inútil ni que deba descartar todo lo que dice. La IA es genuinamente útil para prepararse: entender un término, redactar lo que va a decir, encontrar un punto de partida. El propósito de verificar es ajustar su confianza a la importancia de la tarea. Use la IA libremente para prepararse, y deje que una persona o una fuente oficial tenga la última palabra en cualquier asunto de alto riesgo.

Sources

• Bhattacharyya, M., Miller, V. M., Bhattacharyya, D., & Miller, L. E. (2023). High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus, 15(5), e39238. https://doi.org/10.7759/cureus.39238
• Centers for Medicare & Medicaid Services. Medicaid eligibility policy. https://www.medicaid.gov/medicaid/eligibility-policy
• MedlinePlus (U.S. National Library of Medicine). Evaluating health information. https://medlineplus.gov/evaluatinghealthinformation.html
• Si, Y., Yang, Y., Wang, X., Zu, J., Chen, X., Fan, X., An, R., & Gong, S. (2024). Quality and accountability of ChatGPT in health care in low- and middle-income countries: Simulated patient study. Journal of Medical Internet Research, 26, e56121. https://doi.org/10.2196/56121

LINC es un prototipo de investigación, no un servicio médico ni legal. La traducción puede tener errores; usted tiene derecho a un intérprete calificado y gratuito. Para cualquier asunto de alto riesgo, hágalo junto con un trabajador de salud comunitario o alguien de su confianza. En caso de crisis, llame o envíe un mensaje de texto al 988, o al 911 si hay peligro inmediato.