모든 AI 답변을 초안으로 다루기
AI 답변은 확인해야 할 초안일 뿐 결코 최종 답이 아닙니다. 이 모듈은 답변을 이미 아는 내용과 비교하는 습관을 길러 줍니다.
레드팀으로 깨 보고, 확인 체크리스트를 만듭니다
- 각자 지역 규정이나 사무소, 마감일에 관한 질문을 하나 골라 챗봇에 던집니다.
- 5분 동안 표현을 바꿔 가며, 자신 있고 구체적이면서 틀린 답이 나오도록 시도합니다. 성공한 것을 벽에 붙입니다.
- 나를 속인 답들을 보면서 다섯 줄을 함께 씁니다. AI 답변이 클라이언트에게 나가기 전에 우리 팀이 확인할 것들입니다. 이 다섯 줄은 남깁니다.
동료가 건네줬다면 그대로 보냈을 만한 답은 어느 것이었습니까?
- 자동화 편향이라는 잘 알려진 습관이 있습니다. 이는 기계의 답이 틀렸을 때도, 눈앞의 상황이 그와 다르다고 말해줄 때도 사람들이 그대로 따라가는 경향을 말합니다. 자신이 이런 편향에 취약하다는 것을 아는 것이 첫 번째 방어선입니다.
- AI의 답변을 읽기 전에 먼저 자신의 답을 세우거나 규정을 떠올리십시오. 먼저 추측을 정해 두면 하나를 그대로 받아들이는 대신 두 답을 비교하게 되며, 이러한 습관이 과도한 의존을 줄이는 것으로 나타났습니다.
- 자신감 있고 잘 쓰인 설명이라고 해서 그 답이 옳다는 증거는 아닙니다. AI는 맞든 틀리든 똑같이 유창하고 확신에 찬 어조로 글을 씁니다. 그래서 매끄러운 근거는 틀린 답을 더 설득력 있게 만들 뿐, 더 정확하게 만들지는 않습니다.
- 구체적인 세부 사항은 확인하기 전까지 모두 미확정으로 다루십시오. 전화번호, 운영 시간, 마감일, 금액, 자격 규정은 AI가 가장 자주 지어내거나 시기가 지난 정보를 내놓는 항목이므로, 클라이언트에게 전달하기 전에 공식 출처나 동료를 통해 확인하십시오.
- 답변이 무엇을 빠뜨렸는지 주의 깊게 살피십시오. 유창한 요약은 소득 한도나 신청 마감일처럼 정말 중요한 조건 하나를 조용히 빠뜨릴 수 있으므로, 중요한 조건이 여전히 남아 있는지, 매끄럽게 다듬어지며 사라지지는 않았는지 확인하십시오.
- AI가 확신이 없다고 말할 때는 이를 유용한 정보이자 속도를 늦추라는 신호로 받아들이십시오. 사람들은 유보적인 답변에 덜 의존하면서도 더 정확하게 맞히는 경향이 있으며, 유보 표현이 없다고 해서 그 답이 안전하다는 증거가 되는 것은 결코 아닙니다.
- AI는 과거 데이터에서 학습했으며 그 안에 있는 불공정을 그대로 되풀이할 수 있다는 점을 기억하십시오. 답변은 클라이언트가 누구인지에 따라 특정한 방식으로 틀릴 수 있으므로, 권위 있어 보이는 어조가 시스템이 클라이언트를 공정하게 대우하고 있다는 보장이 되지는 않습니다.
기계의 결과가 틀렸을 때도 그것을 따르는 경향인 자동화 편향은 보건 및 안전 분야 전반에서 문서화되어 있습니다 (Goddard 외, 2012). AI 제안에 설명을 덧붙인다고 해서 문제가 해결되지는 않습니다. 확신에 찬 틀린 답변에 근거까지 덧붙여 제시해도 사람들은 여전히 그것을 따르는 경향이 있으며, 실제로 과도한 의존을 줄이는 것은 사람들에게 먼저 자신의 답을 세우도록 요청하는 것입니다 (Bucinca 외, 2021).
훈련받은 전문가조차 잘못된 AI 조언을 따릅니다. 흉부 엑스레이를 판독하던 임상의들은 부정확한 AI 제안을 본 뒤 진단의 질이 더 나빠졌으며, 해당 과제 경험이 적은 사람일수록 더 크게 흔들렸습니다 (Gaube 외, 2021). 정신건강 분야의 한 사례에서는 도구가 잘못된 항우울제를 추천하자 임상의 자신의 처방 판단마저 나빠졌으며, 추천에 설명을 덧붙여도 이를 막지 못했습니다 (Jacobs 외, 2021). 유창한 근거는 안전장치가 아닙니다.
답변이 표현되는 방식은 사람들이 그것을 얼마나 신뢰하는지를 바꿉니다. AI가 "확실하지는 않지만"과 같은 표현으로 1인칭으로 불확실성을 드러냈을 때, 사람들은 그 답변에 덜 의존하면서도 더 많은 답을 맞혔습니다 (Kim 외, 2024). 이러한 조용한 위험은 반대 방향으로도 나타납니다. 매끄럽고 확신에 찬 답변이 정말 중요한 부분을 빠뜨릴 수 있기 때문입니다. 대규모 언어 모델(large language model)이 의료 동의서 문구를 간단하게 요약했을 때, 무언가 빠졌다는 표시 없이 위험 정보를 누락하는 경우가 있었습니다 (Oh 외, 2025). 핵심 조건이 여전히 남아 있는지 확인하십시오.
AI는 기존 불평등을 그대로 따라가는 방식으로 자신 있게 틀릴 수 있습니다. 널리 쓰이던 한 건강 알고리즘은 질병이 아니라 비용을 예측하도록 만들어진 탓에 편향되었고, 그 결과 흑인 환자의 필요를 과소평가하고 이들이 돌봄에서 멀어지게 만들었습니다 (Obermeyer 외, 2019). 권위 있어 보이는 어조는 시스템이 클라이언트를 공정하게 대우하고 있다는 보장이 되지 않습니다.
AI가 틀릴 때: 거짓 경보와 놓침
AI 답변이나 선별 도구, 또는 어떤 검사가 틀릴 때, 그 오류는 두 방향 중 하나입니다. 지금 어느 쪽을 마주하고 있는지 알면 어디를 더 철저히 확인해야 할지 알 수 있습니다.
모든 답은 네 칸 중 하나에 들어갑니다
거짓 경보
사실은 아니오인데 예라고 답합니다. 이는 거짓 양성(false positive), 즉 제1종 오류(Type I error)라고도 합니다.
클라이언트가 자격이 없는데 어떤 혜택 자격이 있다고 말합니다.
놓침
사실은 예인데 아니오라고 답합니다. 이는 거짓 음성(false negative), 즉 제2종 오류(Type II error)라고도 합니다.
클라이언트가 자격이 있는데 없다고 말하거나, 누군가 위기에 처했다는 것을 알리지 못합니다.
- 거짓 경보(거짓 양성)는 실제 답이 아니오일 때 예라고 말합니다. 예를 들어 클라이언트가 자격이 없는데 어떤 혜택 자격이 있다고 하거나, 평범한 서류를 문제로 표시합니다.
- 놓침(거짓 음성)은 실제 답이 예일 때 아니오라고 하거나, 실제로 존재하는 것을 알아채지 못합니다. 예를 들어 클라이언트가 자격이 있는데 없다고 하거나, 누군가 위기에 처해 있다는 것을 알아채지 못합니다.
어느 오류가 더 나쁜지는 무엇이 걸려 있느냐에 달려 있는데, AI는 그것을 알지 못합니다. 실무자는 압니다.
- 혜택과 자격 영역에서는 놓침이 더 큰 피해인 경우가 많습니다. 자격이 있는 가족에게 자격이 없다고 말하면, 그들이 마땅히 받을 식품, 주거, 돌봄에서 배제될 수 있습니다.
- 안전과 위기 영역에서는 놓침이 생명을 앗아 갈 수 있으므로, 실제 위험을 놓치는 것이 거짓 경보보다 훨씬 나쁩니다. 이때 확신이 서지 않으면 실제 상황으로 간주하고 사람에게 넘기십시오.
- 법률과 이민 영역에서는 거짓 경보가 더 큰 피해가 될 수 있습니다. 자격이 없는 사람에게 구제 자격이 있다고 말하면, 사건에 해가 되는 신청으로 이어질 수 있습니다.
AI 답변에 따라 행동하기 전에, 이 상황에서 어느 오류가 클라이언트에게 더 큰 피해를 줄지 자문하고, 그 오류를 가장 철저히 확인하십시오.
확신에 찬 혜택 답변 확인하기
- 한 내비게이터가 챗봇에게 어떤 클라이언트 가구가 식품 지원 프로그램 자격이 되는지 묻습니다. 챗봇은 명확한 설명과 구체적인 소득 한도를 들어 그렇다고 답합니다.
- 클라이언트에게 무엇이든 말하기 전에, 내비게이터는 자신이 이미 알고 있는 규정을 적어 봅니다. 챗봇이 제시한 소득 수치는 지난달 그녀가 사용했던 수치보다 높아 보입니다.
- 그녀는 프로그램의 공식 주정부 페이지에서 그 수치를 확인하고, 한도가 바뀌었다는 것을 발견합니다. 그 가족은 실제로 해당 프로그램의 기준을 근소하게 초과합니다.
- 그녀는 챗봇의 답변을 자신을 올바른 질문으로 이끌어 준 초안으로 취급하고, 그 가족이 실제로 자격이 되는 프로그램을 찾아봅니다.
- 그녀는 클라이언트에게 올바른 규정을 설명하고, 메시지가 잘 전달되었는지 확인하기 위해 예약에 가져올 것을 다시 말해 달라고 요청합니다.
먼저 스스로 답해 보기
실제 자격이나 혜택에 관한 질문을 하나 준비해 참가자들에게 제시합니다. 각 참가자는 먼저 자신의 답을 적습니다. 그런 다음 같은 질문에 대한 AI 답변을 읽습니다. 각 참가자는 어떤 구체적 주장을 확인할지, 어디에서 확인할지 표시합니다. 먼저 자신의 답을 세워 두니 AI 답변을 의심하기가 얼마나 쉬워졌는지 함께 되짚어 봅니다.
출처와 대조하여 답변 하나 확인하기
실제 AI가 흔한 클라이언트 질문에 내놓은 답변을 하나 골라 인쇄합니다. 두 명씩 짝을 지어, 그 안의 구체적인 주장에 모두 밑줄을 긋습니다. 전화번호, 주소, 금액, 마감일, 자격 규정 등입니다. 밑줄 친 각 항목에 대해 대조해 볼 공식 출처를 하나씩 정한 뒤, 실제로 그것을 찾아보고 확인한 내용과 비교합니다. 나중에 틀렸거나 시기가 지난 것으로 드러난 부분에서 답변이 얼마나 자신 있게 들렸는지 주목하고, 아무도 확인하지 않았다면 그 세부 사항 중 어떤 것이 그대로 클라이언트에게 전달되었을지 이야기해 봅니다.