AI 챗봇은 정말로 유용한 도우미가 될 수 있습니다. 편지 내용을 설명해 주고, 질문을 대신 작성해 주고, 필요한 진료 방향을 알려줄 수도 있습니다. 하지만 동시에 차분하고 확신에 찬 목소리로 틀린 답을 줄 수도 있는데, 바로 이 부분을 제대로 이해해 두어야 합니다. 왜 이런 일이 생기는지, 그리고 어떻게 확인하는지 알면 AI의 유용한 부분은 그대로 활용하면서 실수로부터 자신을 지킬 수 있습니다.

AI가 틀리는 이유

AI 챗봇은 사람이 전화번호를 찾아보는 것처럼 사실을 조회하지 않습니다. 방대한 양의 텍스트에서 학습한 패턴을 바탕으로, 다음에 올 가능성이 높은 단어를 하나씩 예측하며 답변을 만들어냅니다. 잘 알려진 정보는 그 텍스트에 자주 등장하기 때문에 대부분의 경우 이 방식이 잘 작동합니다. 문제는 AI가 실제로 답을 알든 모르든 같은 방식을 사용한다는 점입니다. 올바른 사실을 갖고 있지 않을 때는 그럴듯하게 들리는 단어로 빈틈을 채웁니다. 그 결과 실제로 존재하지 않는 진료소, 실제로는 존재한 적 없는 전화번호, 혹은 이미 바뀐 옛 규정이 답변에 등장할 수 있습니다.

사람들은 이런 현상을 환각(hallucination)이라고 부릅니다. AI가 일부러 거짓말을 하는 것이 아닙니다. AI는 늘 하던 대로, 즉 다음에 올 가능성이 높은 단어를 추측하는 일을 하고 있을 뿐인데, 그 방식만으로는 충분하지 않은 상황에서도 똑같이 그렇게 하는 것입니다.

이는 드물거나 이론상의 이야기가 아닙니다. 연구자들이 챗봇에게 참고문헌을 포함한 의학 텍스트를 작성하게 했을 때, 제시된 출처 대부분이 조작되었거나 부정확했습니다. 존재하지 않는 연구를 인용하거나 세부 내용을 잘못 적은 것입니다(Bhattacharyya et al., 2023). AI가 누군가를 속이려던 것이 아닙니다. 전화번호나 진료소 이름을 채워 넣을 때와 마찬가지로, 출처가 보통 어떤 모습인지를 흉내 내어 채워 넣었을 뿐입니다.

가장 자주 틀리는 부분

AI의 답변은 몇 가지 예측 가능한 지점에서 특히 신뢰도가 떨어집니다. 다음과 같은 경우를 주의하십시오.

• 구체적인 사실: 전화번호, 주소, 진료소 이름, 웹사이트 링크 등입니다.
• 시간이 지나며 바뀌는 규정: 예를 들어 메디케이드(Medicaid) 자격 요건, 프로그램 비용, 마감일 등입니다.
• 거주 지역. 전국 단위의 답변이 실제로는 거주하는 도시나 주에는 맞지 않을 수 있습니다.
• 사용하는 언어. AI의 답변은 영어가 아닌 언어에서는 정확도가 떨어질 수 있습니다. AI가 모국어로는 더 부정확하게 답할 수 있습니다 항목을 참고하십시오.

확신에 찬 말투는 답변이 맞는지 여부와는 아무 관련이 없습니다. AI는 맞을 때도, 틀릴 때도 똑같이 확신에 찬 목소리로 말합니다.

이는 전화번호나 주소에만 해당하는 문제가 아닙니다. 건강 관련 조언도 확신에 찬 태도로 잘못 제시되어 실제로 해가 될 수 있습니다. 연구자들이 모의 환자를 이용해 흔한 질병에 대해 챗봇을 시험했을 때, 챗봇은 상당수의 경우(약 4건 중 3건) 올바른 진단을 내렸고 합리적인 약을 선택했습니다(약 5건 중 4건). 하지만 진단이 맞았던 경우에도 대부분 불필요하거나 해로울 수 있는 약을 함께 권했습니다(Si et al., 2024). 약이나 증상에 대해 매끄럽고 그럴듯하게 들리는 답변일수록, 실제로 행동에 옮기기 전에 반드시 사람에게 확인해야 합니다.

한 가지 더 알아둘 점이 있습니다. AI에게 답이 틀렸다고 말하면, 처음 답이 맞았던 경우에도 그냥 동의하며 답을 바꾸는 경우가 많습니다. AI는 상대방에게 맞춰주도록 만들어져 있기 때문입니다. 따라서 AI가 사용자에게 맞춰 답을 바꾸는 것은 어느 쪽으로도 아무런 증거가 되지 않습니다. 궁금한 점을 해결하는 올바른 방법은 원하는 답이 나올 때까지 챗봇과 실랑이하는 것이 아니라, 실제 출처와 대조해 확인하는 것입니다.

짧은 예시

다음은 실제로 있을 법한 오류가 하나 숨어 있는 가상의 답변입니다. 먼저 읽어 보고 어떤 문제가 있는지 찾아보십시오.

질문하신 내용: “제가 사는 주에서 메디케이드(Medicaid)를 받을 수 있나요?”

챗봇의 답변: “네, 받으실 수 있습니다. 메디케이드는 모든 주에서 소득 기준이 동일하므로, 연간 소득이 2만 달러 미만이면 미국 어디서나 자격이 됩니다. 아무 병원 접수처에서나 신청하시면 됩니다.”

언뜻 명확하고 도움이 되는 답변처럼 들립니다. 하지만 중요한 부분에서 틀렸습니다. 메디케이드는 모든 주에서 소득 기준이 동일하지 않습니다. 각 주가 자체적으로 규정을 정하며, 어떤 사람을 보장 대상으로 하는지도 주마다 크게 다릅니다. 위 답변에 나온 전국 단일 소득 기준은 답변을 완결된 것처럼 보이게 하려고 지어낸 숫자입니다. “아무 병원 접수처에서나 신청하시면 됩니다”라는 문장도 마찬가지로 부정확합니다.

이 답변에서 알아챌 수 있는 신호는 이렇습니다. 실제로는 거주지에 따라 달라지는 사안인데, AI가 전국에 적용되는 단순한 규정 하나로 답했다는 점입니다. 지역마다 다르고 시간이 지나며 바뀌는 규정이 확신에 찬 한 문장으로 단순화되어 있다면, 속도를 늦추고 확인해야 합니다. 실제 자격 여부는 거주하는 주, 가구 규모 등 여러 세부 사항에 따라 달라지므로, 정직한 답변이라면 사용자가 사는 주의 메디케이드 사무소나 상황을 직접 살펴볼 수 있는 사람에게 안내했을 것입니다. 주마다 규정이 어떻게 다른지, 그리고 각 주의 프로그램 정보는 Medicaid.gov에서 확인할 수 있습니다.

꾸준히 실천할 수 있는 확인 습관

AI가 하는 모든 말을 일일이 확인할 필요는 없습니다. 중요한 답변에 대해 확인하는 습관 하나만 있으면 됩니다. 그 방법은 다음과 같습니다.

1. AI에게 출처를 물어보십시오. “이 정보는 어디서 나온 건가요?” 또는 “이걸 확인하려면 무엇을 봐야 하나요?”라고 입력해 보십시오. 도움이 되는 답변이라면 실제로 확인할 수 있는 구체적인 것을 알려줍니다. 출처를 대지 못하는 답변은 주의하라는 신호입니다.
2. LINC 가이드나 공식 페이지와 비교해 보십시오. 이 사이트의 가이드나 공식 페이지에 같은 내용이 나오는지 확인하십시오. 건강 정보를 전반적으로 판단하는 방법은 미국 국립의학도서관(U.S. National Library of Medicine)의 MedlinePlus에서 건강 정보 평가하기라는 알기 쉬운 안내를 제공합니다.
3. 중요한 사안이라면 사람에게 다시 확인하십시오. 진료소, 지역사회 보건요원, 또는 자격을 갖춘 통역사가 행동에 옮기기 전에 세부 사항을 확실히 정리해 줄 수 있습니다. 이 단계가 돈, 서류, 자격 요건, 진료와 관련된 결정에서 자신을 보호해 주는 핵심 단계입니다.

오해를 초기에 알아차리는 좋은 방법은 답변을 자신의 말로 다시 요약해 말해 보는 것입니다. 챗봇이 답한 뒤, 자신이 이해한 내용을 말하고 나서 “제가 제대로 이해한 게 맞나요?”라고 물어보십시오. 이렇게 다시 말해 보면 작은 오류가 커지기 전에 발견되는 경우가 많습니다.

주의 신호: 속도를 늦춰야 할 때

어떤 답변은 다른 답변보다 한 번 더 살펴볼 필요가 있습니다. 다음과 같은 경우에는 행동에 옮기기 전에 멈추고 확인해야 한다는 신호로 받아들이십시오.

• 실제로 행동에 옮길 구체적인 번호, 이름, 링크. 전화를 걸 번호, 찾아갈 진료소 이름, 금액, 소득 기준선, 날짜, 웹 주소 등입니다. 이런 세부 사항은 AI가 가장 쉽게 지어내는 부분입니다.
• 실제로는 개인 상황에 따라 달라지는 사안을 하나의 단순한 규정으로 설명하는 경우. 답변이 지역마다 다르고 바뀌는 규정을 ”…라면 누구나 자격이 됩니다”처럼 단순화한다면, 거주하는 주, 소득, 가구 구성, 신분 등에 따라 달라지는 부분을 얼버무렸을 가능성이 큽니다.
• 돈, 보장 범위, 서류, 이민 관련 사안에 대한 내용. 이런 부분은 틀렸을 때 치러야 할 대가가 크므로 확인 기준도 높아야 합니다.
• 약과 증상. 용량, 약 이름, 언제 무엇을 복용해야 하는지, 두 가지 약을 함께 먹어도 안전한지 등은 약사, 간호사, 처방한 의료 제공자에게 반드시 확인하십시오.
• 출처를 대지 못하는 답변. “이 정보는 어디서 나온 건가요?”라고 물었을 때 구체적으로 알려주지 못한다면, 그 답변은 추측일 뿐이라고 생각하십시오.

이 중 어느 것에도 해당하지 않는다면, 예를 들어 단어의 뜻을 물어보거나 메시지 초안을 부탁하는 정도라면 크게 신경 쓰지 않아도 됩니다. 확인하는 습관은 실제로 결과가 따르는 답변을 위한 것입니다.

출처를 표시하는 답변에 대한 참고 사항

최근 일부 AI 도구는 답변과 함께 링크나 각주를 보여주기도 하는데, 이는 실질적인 발전입니다. 하지만 그렇다고 확인을 건너뛰어도 된다는 뜻은 아닙니다. AI는 공식적으로 보이는 링크를 붙여 놓고도 그 내용을 잘못 설명할 수 있고, 실제로는 주장을 뒷받침하지 않는 페이지를 가리킬 수도 있습니다. 도구가 출처를 제시하면, 직접 그 링크를 열어 관련된 부분을 읽어보는 것이 가장 유용한 방법입니다. 출처가 의미 있는 이유는 그것이 있다는 사실 자체가 아니라, 사용자가 직접 확인할 수 있다는 데 있습니다.

확인은 불신이 아닙니다

확인하는 습관을 들인다고 해서 그 도구가 쓸모없다거나 AI가 하는 모든 말을 무시해야 한다는 뜻은 아닙니다. AI는 용어를 이해하거나, 할 말을 미리 작성하거나, 어디서부터 시작해야 할지 방향을 잡는 등 준비 단계에서 정말로 큰 도움이 됩니다. 확인의 핵심은 신뢰하는 정도를 상황의 중요도에 맞추는 것입니다. 준비 과정에서는 AI를 자유롭게 활용하되, 결과가 중대한 사안에서는 사람이나 공식 출처가 최종 판단을 내리도록 하십시오.

참고 자료

• Bhattacharyya, M., Miller, V. M., Bhattacharyya, D., & Miller, L. E. (2023). High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus, 15(5), e39238. https://doi.org/10.7759/cureus.39238
• Centers for Medicare & Medicaid Services. Medicaid eligibility policy. https://www.medicaid.gov/medicaid/eligibility-policy
• MedlinePlus (U.S. National Library of Medicine). Evaluating health information. https://medlineplus.gov/evaluatinghealthinformation.html
• Si, Y., Yang, Y., Wang, X., Zu, J., Chen, X., Fan, X., An, R., & Gong, S. (2024). Quality and accountability of ChatGPT in health care in low- and middle-income countries: Simulated patient study. Journal of Medical Internet Research, 26, e56121. https://doi.org/10.2196/56121

LINC는 연구 프로토타입이며 의료 서비스나 법률 서비스가 아닙니다. 번역이 틀릴 수 있으며, 누구나 무료로 자격을 갖춘 통역사를 이용할 권리가 있습니다. 중대한 사안은 지역사회 보건요원이나 신뢰할 수 있는 사람과 함께 진행하십시오. 위기 상황에서는 988로 전화하거나 문자를 보내고, 즉각적인 위험이 있다면 911에 연락하십시오.