적정 수준의 신뢰 가르치기
도구에 맞는 만큼만 신뢰하도록 합니다. 내담자가 AI 답변을 그대로 받아들이지도, 두려움 때문에 유용한 도움을 거부하지도 않도록 구체적인 습관을 코칭합니다.
학습 목표
이 모듈을 마치면 지역사회 보건요원은 다음을 할 수 있습니다.
- 적정 수준의 신뢰를 내담자가 이해할 수 있는 한 문장으로 설명할 수 있습니다.
- 습관을 코칭할 수 있습니다. 먼저 추측하기, 답변을 초안으로 다루기, "잘 모르겠습니다"라는 답을 기대하기입니다.
- 두 가지 불균형 방향을 모두 알아볼 수 있습니다. 챗봇을 과신하는 것과, 정확한 도움을 거부하는 것입니다.
- 확인 없이 AI 답변을 그대로 베끼는 내담자의 방향을 바꾸어 줄 수 있습니다.
진행자 개요
모듈 1을 떠올려 보십시오. 이 도구는 유창하게 추측합니다. 그렇다면 내담자는 특정 답변을 얼마나 신뢰해야 하는지가 관건입니다. 답은 "상황에 따라 다르며, 판단하는 방법은 다음과 같다"는 것입니다.
먼저 추측하기(AI의 답변을 읽기 전에 자신의 생각을 먼저 만듭니다). 답변을 판결이 아니라 개선해야 할 초안으로 다룹니다. 불확실성을 기대하고 반갑게 받아들입니다. "잘 모르겠습니다, 진료소에 확인하십시오"라고 말하는 답변은 제 역할을 다하고 있는 것입니다.
과도한 신뢰는 잘못된 답변에 따라 행동하게 만듭니다. 전면적인 불신은 좋은 도움을 무시하고 제자리에 머무르게 만듭니다. 중간 지점을 목표로 삼으십시오. 초안 작성과 행정적인 일에는 활용하고, 중요한 모든 것은 확인하십시오.
아래의 역할극을 진행하십시오. 한 지역사회 보건요원은 챗봇을 완전히 신뢰하는 내담자 역할을 맡고, 다른 한 명은 습관을 코칭합니다.
확신에 찬 설명은 잘못된 답변을 덜 설득력 있게 만드는 것이 아니라 오히려 더 설득력 있게 만들 수 있습니다. 그래서 저희는 단순히 "주의 깊게 읽으십시오"가 아니라 행동을 코칭합니다. 되짚어 말하기로 마무리하십시오.
핵심 교육 요점
적정 수준의 신뢰란, 지금 앞에 놓인 과제에 걸맞은 만큼만 이 도구를 신뢰한다는 뜻입니다. 전화 대본에는 좀 더, 자격 규정에는 좀 덜, 위기 상황에는 전혀 신뢰하지 않는 것입니다. 이 습관들은 이를 실천 가능하게 만듭니다. 첫째, 먼저 추측하기입니다. 내담자가 AI의 답변을 읽기 전에 이미 무엇을 생각하고 있는지 물어보십시오. 그러면 그 답변은 따라야 할 것이 아니라 비교할 대상이 됩니다. 둘째, 답변을 초안으로 다루는 것입니다. 초안은 원래 수정하고 확인하고 확정하기 위한 것이며, 이것이 바로 우리가 원하는 태도입니다. 셋째, 불확실성을 기대하는 것입니다. 도구가 확신이 없다고 말할 때, 이는 결함이 아니라 유용한 정보입니다. 이를 긍정적으로 받아들이고, 사람에게 확인함으로써 행동하십시오.
반대 방향의 오류도 주의하십시오. 일부 내담자는 AI가 틀릴 수 있다는 경고를 들은 뒤, 진료로 이어질 수 있는 정확한 도움을 포함해 모든 것을 불신하기로 마음먹습니다. 신뢰 보정은 양방향으로 작동합니다. 전하려는 메시지는 "절대 신뢰하지 말라"가 아닙니다. "올바른 일에는 신뢰하고, 나머지는 확인하라"는 것입니다.
답변이 틀리는 두 가지 방식을 짚어 보는 것도 도움이 됩니다. AI의 답변이든 어떤 선별 검사든 틀릴 때는 두 방향 중 한 방향으로 틀립니다. 하나는 거짓 경보(위양성)로, 실제 답이 아니오인데 예라고 말하는 것입니다. 예를 들어 내담자가 어떤 혜택 자격이 안 되는데 된다고 말하는 경우입니다. 다른 하나는 놓침(위음성)으로, 실제 답이 예인데 아니오라고 말하거나 실제로 존재하는 무언가를 알아채지 못하는 것입니다. 예를 들어 내담자가 자격이 되는데 안 된다고 말하거나, 누군가 위기 상황에 있다는 것을 알아채지 못하는 경우입니다. 어느 실수가 더 나쁜지는 사안의 중대성에 달려 있는데, AI는 그 중대성을 알지 못하며 여러분이 압니다. 혜택과 자격 문제에서는 놓침 하나가 한 가족을 그들이 마땅히 받을 도움에서 끊어 버릴 수 있습니다. 안전과 위기 상황에서는 놓침 하나가 생명을 앗아갈 수 있으므로, 실제 위험은 모두 실제 위험으로 다루고 사람에게 연결하십시오. 법률이나 이민 문제에서는 거짓 경보 하나가 내담자에게 해가 되는 신청으로 이어질 수 있습니다. AI의 답변에 따라 행동하기 전에, 여기서 어느 실수가 내담자에게 더 큰 해를 끼칠지 자문하고, 바로 그 실수를 가장 엄격하게 점검하십시오.
거짓 경보
실제 답이 아니오인데 예라고 말합니다.
내담자가 혜택 자격이 안 되는데 된다고 말합니다.
놓침
실제 답이 예인데 아니오라고 말합니다.
내담자가 자격이 되는데 안 된다고 말하거나, 위기 상황을 알아채지 못합니다.
신뢰 보정은 양방향으로 작동합니다. 전면적인 불신은 내담자를 제자리에 머무르게 하고 좋은 도움을 놓치게 만들며, 맹목적인 신뢰는 잘못된 답변에 따라 행동하게 만듭니다. 중간 지점을 목표로 삼으십시오. 초안 작성과 행정적인 일에는 도구에 의지하고, 중요한 것은 모두 확인하십시오.
AI를 활용해 의사결정을 내리는 사람들에 대한 연구에서, AI의 답변을 보기 전에 자신의 답을 먼저 정하게 하는 것과 같은 작은 "마찰" 단계는 잘못된 조언에 대한 과도한 의존을 줄였지만, 설명만 보여 주는 것으로는 그런 효과가 나타나지 않았습니다(Bucinca와 동료들, 2021). 의료 관련 질문에 대한 한 연구에서는 불확실성을 인정하는 표현("확신할 수 없지만...")이 일반인의 판단 정확도를 높였습니다(Kim과 동료들, 2024). 이러한 연구 결과가 이 습관들의 근거입니다.
신뢰 보정의 오류는 양방향으로 나타납니다. 사전등록된 두 건의 연구에서, 동일한 의료 조언이라도 "AI"라는 표시가 붙으면 신뢰도가 낮게 평가되었고 사람들은 그 조언을 따르려는 의지도 낮았습니다(Reis와 동료들, 2024, Nature Medicine). 그래서 저희는 과도한 신뢰뿐 아니라 전면적인 불신도 경계하도록 코칭합니다.
AI는 눈에 잘 띄지 않는 편향을 지니고 있을 수도 있습니다. 널리 쓰이던 한 건강 위험 예측 알고리즘은 질병이 아니라 비용을 예측하도록 만들어졌기 때문에 흑인 환자를 제대로 지원하지 못했습니다(Obermeyer와 동료들, 2019). 그래서 저희는 답변을 검증된 출처에 근거하게 하고 중요한 것을 확인하며, 숨은 편향이 걸러지지 않고 지나가지 않도록 합니다.
역할극: 챗봇을 완전히 신뢰하는 내담자
두 명씩 짝을 지으십시오. 한 지역사회 보건요원은 챗봇이 항상 옳다고 판단한 내담자 역할을 맡고, 다른 한 명은 코칭을 맡습니다. 내담자는 다음과 같이 시작합니다.
코칭을 맡은 사람의 과제는 설교하지 않으면서 습관을 소개하는 것입니다. 좋은 방법은 다음과 같습니다. 답변을 읽기 전에 내담자가 무엇을 예상했는지 물어보기, AI의 계획을 함께 확인해야 할 "첫 번째 초안"으로 다시 표현하기, 구체적인 확인 단계 하나를 제안하기(진료소에 전화해서 신규 환자를 받는지, 내담자의 보험이 되는지 확인하기)입니다. 복기하십시오. 코칭을 맡은 사람이 내담자를 도구를 완전히 포기하게 만들지 않으면서도, 신뢰 수준을 유용한 정도로 낮추는 데 성공했습니까?
자료
- 모든 지역사회 보건요원이 이 습관들을 기억만으로 말할 수 있습니까?
- 역할극이 내담자를 전면적인 불신으로 몰아가지 않으면서 과도한 신뢰 문제를 다루었습니까?
- 확신에 찬 설명이 잘못된 답변을 더 설득력 있게 만들 수 있다는 점을 짚어 주었습니까?