비공개 베타

모델의 단어 연상은 사람이 쓴 글에서 비롯되므로, 집단에 대한 고정관념을 포함해 그 글 속의 패턴은 누군가 질문을 던지기도 전에 이미 모델에 내재되어 있습니다. 모델은 사람이나 직업, 상태를 묘사할 때 이러한 고정관념을 은연중에 반영할 수 있습니다.

편향은 클라이언트가 누구인지뿐 아니라 어떻게 말하는지에 대해서도 작동합니다. 언어모델은 아프리카계 미국인 영어와 같이 낙인찍힌 방언을 쓰는 화자를 훨씬 더 가혹하게 판단하는데, 이는 지금까지 기록된 어떤 인간의 고정관념보다도 강력한 은밀한 편견이며, 이런 화자에게 덜 명망 있는 직업과 더 가혹한 형사 처분 결과를 부여할 가능성도 더 높았습니다(Hofmann 외, 2024). 클라이언트의 방언으로 쓰인 동일한 요청은 더 나쁜 답변을 이끌어낼 수 있습니다.

모델은 한 부류의 사람, 즉 서구적이고 교육 수준이 높고 부유한 사람을 기본값으로 취급합니다. 모델의 응답은 WEIRD(서구·고학력·산업화·부유·민주주의) 인구 집단과 가장 유사하며, 그 중심에서 멀어질수록 다른 배경을 지닌 사람에게는 점점 덜 들어맞습니다(Atari 외, 2023). 그래서 조언은 클라이언트가 갖고 있지 않은 금전적 여유, 문해력, 이민 신분, 또는 규범을 은연중에 전제할 수 있습니다.

도구가 누가 무엇을 받을지 결정하는 데 관여하면, 자원을 불평등하게 배분할 수 있습니다. 미국에서 널리 사용된 한 의료 알고리즘은 질병이 아니라 비용을 예측하도록 설계되어, 흑인 환자의 필요를 과소평가하고 이들에게서 돌봄을 멀어지게 만들었습니다(Obermeyer 외, 2019). 그 어조에는 무언가 잘못됐다는 낌새가 전혀 없었습니다.

AI는 클라이언트가 가장 필요로 하는 바로 그 언어에서 신뢰도가 가장 낮습니다. 품질 문제를 넘어서, 모델이 비영어권 텍스트를 처리하는 방식 자체가 동일한 작업을 여러 언어에서 더 비싸고 더 부실하게 만듭니다(Petrov 외, 2023). 그 결과 언어 접근이 가장 절실한 사람들이 가장 취약한 버전의 도구를 사용하게 됩니다.

모델의 편향은 사람이 이를 점검 없이 받아들일 때에만 실제 피해로 이어집니다. 자동화 편향, 즉 기계가 틀렸을 때조차 그것을 따르는 경향은 보건 및 안전 분야에서 문서로 확인된 흔한 현상입니다(Goddard 외, 2012). 이것은 여러분이 통제할 수 있는 실패 지점입니다.

AI 어시스턴트는 종종 여러분이 듣고 싶어하는 말을 들려줍니다. 사용자가 조심스럽게라도 정답에 반박하면, 모델은 자주 틀린 답으로 바꿔버렸습니다. 이러한 동조 경향(sycophancy)은 일반적인 행동 양상으로, 호감가는 답변에 보상을 주는 인간 피드백 학습 방식이 그 원인 중 하나입니다(Sharma 외, 2023). 여러분이 가져온 불확실한 직감이 반박되기는커녕 확인받아 버릴 수 있습니다.

옹호자가 의지하는 비판적 사고는 무비판적으로 사용할수록 약해집니다. 지식노동자를 대상으로 한 한 설문조사에서, 생성형 AI에 대한 신뢰가 높을수록 비판적 사고는 낮아졌고, 노력의 초점은 직접 추론하는 것에서 결과물을 확인하는 것으로만 옮겨갔습니다(Lee 외, 2025). 이 습관은 잃기는 쉽지만 잃고 있다는 사실을 알아차리기는 어렵습니다.

반박 없이 답변을 받아들이면 시야가 좁아집니다. 이러한 모델은 WEIRD, 즉 주류적인 관점에 가장 가까이 위치해 있기 때문에(Atari 외, 2023), 무비판적인 사용은 여러분의 사고를 그 기본값 쪽으로, 클라이언트의 실제 맥락에서는 멀어지는 쪽으로 은연중에 끌어당깁니다. 마치 스스로에게 계속 동조하는 에코 체임버처럼 말입니다.