Sesgo y equidad de la IA, y el juicio que sigue siendo suyo
Una herramienta no trata a cada cliente de la misma manera. Aprendió de textos humanos y de decisiones pasadas, por lo que puede ser sesgada e injusta de maneras que afectan con más fuerza a las personas que atiende su agencia. La equidad es una pregunta distinta de la exactitud, así que requiere su propia verificación. Esta sección también aborda un riesgo más silencioso: la herramienta tiende a darle la razón y a reflejar visiones predominantes, lo que puede desgastar el pensamiento crítico del que depende su labor de defensa.
Cambien el nombre y vuelvan a preguntar
- Escriban un resumen breve de un caso que podrían recibir de verdad. No usen datos reales de ningún cliente.
- Pregúntenle a un chatbot qué recomendaría, y guarden la respuesta.
- Cambien solo el nombre y el país de origen, hagan la misma pregunta palabra por palabra, y pongan las dos respuestas una al lado de la otra.
¿Cambió algo que no debería haber cambiado?
- El sesgo ya está incorporado antes de que usted pregunte algo. Un modelo aprende de textos humanos y de decisiones pasadas, así que arrastra sus estereotipos e inequidades.
- La injusticia sigue el patrón de quién es el cliente y cómo habla, por lo que afecta con más fuerza a las comunidades inmigrantes, de bajos ingresos y con dominio limitado del inglés a las que usted atiende.
- Un tono fluido y seguro no le dice nada sobre la equidad. Una respuesta puede sonar autorizada y aun así ser discriminatoria.
- La equidad es una pregunta distinta de la exactitud. Una respuesta puede ser factualmente plausible y aun así injusta.
- La herramienta también tiende a darle la razón y a reflejar un estándar predeterminado estrecho y predominante, lo que puede debilitar el pensamiento crítico del que depende su labor de defensa.
- El juicio sobre una persona no se transfiere a la herramienta. Puede usar la IA para redactar un borrador; la evaluación, la decisión y la responsabilidad siguen siendo suyas.
Formas en que la IA puede ser injusta con sus clientes
Ninguna de estas se anuncia por sí sola. Una respuesta justa y una injusta se ven igual en la pantalla, así que la verificación tiene que ser suya.
Las asociaciones de palabras de un modelo provienen de escritura humana, así que los patrones de esa escritura, incluidos los estereotipos sobre grupos, quedan incorporados en él antes de que nadie haga una pregunta. Puede describir a personas, empleos o condiciones de maneras que reflejan silenciosamente esos estereotipos.
El sesgo no depende solo de quién es el cliente, sino de cómo habla. Los modelos de lenguaje juzgan con mucha más dureza a quienes hablan dialectos estigmatizados, como el inglés afroamericano (un prejuicio encubierto más fuerte que cualquier estereotipo humano registrado), y eran más propensos a asignarles empleos menos prestigiosos y resultados penales más severos (Hofmann y colegas, 2024). La misma solicitud escrita en el dialecto de un cliente puede recibir una respuesta peor.
Los modelos tratan a un solo tipo de persona como el estándar predeterminado: occidental, educada y acomodada. Sus respuestas se asemejan más a las poblaciones WEIRD (occidental, educada, industrializada, rica y democrática) y se ajustan cada vez menos a otros contextos cuanto más se aleja una persona de ese centro (Atari y colegas, 2023), de modo que un consejo puede dar por sentado, sin decirlo, dinero, alfabetización, estatus migratorio o normas que su cliente no comparte.
Cuando una herramienta ayuda a decidir quién recibe qué, puede distribuir recursos de manera desigual. Un algoritmo de salud ampliamente usado en Estados Unidos fue diseñado para predecir el costo en lugar de la enfermedad, lo que subestimó las necesidades de los pacientes negros y desvió la atención lejos de ellos (Obermeyer y colegas, 2019). El tono no dio ninguna señal de que algo estuviera mal.
La IA es menos confiable justo en los idiomas que más necesitan sus clientes. Más allá de la calidad, la forma en que los modelos segmentan el texto que no está en inglés hace que la misma tarea cueste más y funcione peor en muchos idiomas (Petrov y colegas, 2023), de modo que las personas que más necesitan acceso lingüístico reciben la versión más débil de la herramienta.
El sesgo de un modelo se convierte en daño solo cuando una persona lo acepta sin verificarlo. El sesgo de automatización, la tendencia documentada a ceder ante una máquina incluso cuando se equivoca, es común en entornos de salud y seguridad (Goddard y colegas, 2012). Este es el modo de falla que usted controla.
Parte de esto reside en la herramienta y parte en cómo se usa. Usted no puede corregir el modelo, pero sí decide si su sesgo llega hasta su cliente.
Un centro estrecho para lo “normal”
La equidad y la exactitud son pruebas distintas. Una respuesta puede ser exacta en promedio y aun así injusta para el cliente que tiene delante, porque el error no se distribuye de manera uniforme. La orientación de 2024 de la Organización Mundial de la Salud sobre la IA en salud advierte que estos modelos pueden dar respuestas sesgadas o incompletas y pide supervisión humana (Organización Mundial de la Salud, 2024). Verificar la equidad, por separado de si una respuesta es correcta, es la forma de detectar el daño que una respuesta fluida puede ocultar.
Esto importa sobre todo para las comunidades que atiende LINC. Una herramienta pensada para ampliar el acceso a la atención puede reducirlo cuando su sesgo recae sobre personas que ya enfrentan las mayores barreras, por lo que estar atento a ello forma parte del trabajo.
Exacta en promedio, injusta para este cliente
La complacencia, y el pensamiento crítico que usted no se puede permitir perder
La herramienta no solo carga sesgos sobre los clientes. También moldea la forma en que usted piensa, en una dirección que juega en contra de quien defiende a otros.
Los asistentes de IA muchas veces dicen lo que parece que usted quiere oír. Cuando los usuarios cuestionaban una respuesta correcta, incluso con timidez, los modelos con frecuencia cambiaban a la respuesta incorrecta. Esta complacencia es un comportamiento general, impulsado en parte por el entrenamiento con retroalimentación humana que premia las respuestas agradables (Sharma y colegas, 2023). Una corazonada poco firme que usted plantee puede quedar confirmada en lugar de puesta a prueba.
El pensamiento crítico del que depende quien defiende a otros se debilita con un uso acrítico. En una encuesta a trabajadores del conocimiento, una mayor confianza en la IA generativa se asoció con menos pensamiento crítico, y el esfuerzo pasó de razonar por cuenta propia a solo revisar el resultado (Lee y colegas, 2025). El hábito es fácil de perder y difícil de notar que se está perdiendo.
Aceptar respuestas sin cuestionarlas estrecha la mirada. Como estos modelos se acercan más a las perspectivas WEIRD, predominantes (Atari y colegas, 2023), el uso acrítico empuja silenciosamente su pensamiento hacia ese estándar y lo aleja del contexto real de su cliente, como una cámara de eco que no deja de darse la razón a sí misma.
Su papel es poner en el centro la realidad de un cliente que lo predominante suele pasar por alto. La herramienta tira en la dirección contraria, así que el pensamiento crítico tiene que permanecer activo.
Cómo el uso acrítico se convierte en una cámara de eco
- 1 Usted plantea una corazonada
- 2 La herramienta le da la razón (complacencia)
- 3 Usted se siente confirmado
El juicio no se transfiere a la herramienta
- Usted puede delegar la escritura. No puede delegar la evaluación de una persona, la decisión ni la responsabilidad que conlleva.
- La ética del trabajo social exige competencia y lo hace a usted responsable del servicio que presta; una herramienta no carga con nada de ese deber (Código de Ética de NASW).
- Trate la coincidencia de la herramienta como un motivo para verificar, no como una confirmación. Está diseñada para sonar complaciente.
- Cuando una respuesta pueda afectar la elegibilidad, la seguridad, los derechos o un diagnóstico, una persona la revisa antes de usarla, siempre.
Dos preguntas para cualquier respuesta que realmente vaya a usar
Tome una respuesta de IA que podría usar con un cliente. Hágale dos preguntas. Primero: ¿podría estar equivocada de una manera que dependa de quién es mi cliente, su idioma, sus ingresos o su estatus? Segundo: ¿qué parte de esta decisión me corresponde tomar a mí, y no a la herramienta? Escriba la respuesta a la segunda pregunta en una sola frase antes de actuar sobre la primera.