비공개 베타

도구들은 정답이 정해진 고정 질문 세트인 벤치마크로 순위가 매겨집니다. 높은 점수는 그 도구가 그 세트에서 잘했다는 뜻입니다. 두 가지 이유로 점수만으로는 여러분에게 필요한 것을 알 수 없습니다. 벤치마크 질문이 도구의 훈련 데이터 안에 들어가 있을 수 있어서, 도구가 사실상 이미 답을 본 셈이 되어 점수가 부풀려질 수 있습니다. 그리고 벤치마크 과제가 여러분의 접수 서한이나 자격 질문과 전혀 닮지 않았을 수 있어서, 그 점수가 높다고 해서 여러분의 업무에 대해 알려 주는 바는 거의 없습니다. 점수는 하나의 힌트로만 읽고, 여러분이 실제로 하는 과제로 도구를 시험해 보십시오.

도구는 매끄럽고 전문적인 글을 만들어 내면서도 여전히 틀릴 수 있습니다. 잘 읽히는 것과 옳은 것은 서로 다른 문제이기 때문입니다. 데모는 공급업체가 고른 자료로 도구가 가장 잘하는 모습을 보여 주도록 연출된 것입니다. 도구가 맞는지 알아보는 방법은, 클라이언트 세부 정보를 뺀 여러분 자신의 실제 위험 부담이 낮은 과제를 직접 돌려 보고, 결과를 원문과 대조해 확인하는 것입니다. 데이터와 훈련 관련 질문도 같은 단계에서 물어보십시오. 그 질문에 명확히 답하지 않는 도구라면, 데모가 아무리 인상적이었더라도 클라이언트 정보를 넘겨서는 안 됩니다.

겉으로 드러나는 성능은 그 도구가 누구를 제대로 서비스하지 못하는지를 가려 버릴 수 있습니다. 널리 사용된 한 의료 알고리즘은 과거 지출을 필요의 대리 지표로 사용한 탓에 흑인 환자를 추가 치료에 덜 의뢰한다는 사실이 밝혀졌는데, 사용되는 내내 겉으로는 제대로 작동하는 것처럼 보였습니다 (Obermeyer 외, 2019). AI 도구를 도입할 때 얻는 교훈은, 깔끔해 보이는 결과물이 그 도구가 여러분이 서비스하는 사람들을 어떻게 대하는지를 알려 주지는 않는다는 것입니다. 데이터 처리와 훈련에 대해 물어보고, 그 약속을 비즈니스 계약에 담아 받으며, 실수를 저렴하게 잡아낼 수 있는 위험 부담이 낮은 업무에서 시범 사용해 보십시오.