AI는 보고서, 보조금 제안서, 홍보 게시물의 서사를 다듬는 데 도움을 줄 수 있습니다. 문장을 초안으로 작성하고, 다듬고, 다시 손봅니다. 하지만 사실관계, 동의, 그리고 이야기 속 사람들의 존엄은 여전히 여러분의 몫입니다. 도구는 이야기를 다듬을 수는 있지만, 이야기를 지어내서는 안 됩니다.
선을 긋는 지점
문장은 다듬고, 이야기는 지키기
AI가 도움이 되는 부분
보조금 제안서의 서술을 다듬거나, 동의를 받아 수집한 이야기를 새로운 대상에 맞게 재구성하거나, 실제 비식별화된 사실을 바탕으로 홍보 게시물 초안을 작성하는 일.
사람이 계속 맡아야 할 부분
AI가 인용문, 세부 사항, 통계를 지어내게 하거나, 동의 없이 어떤 사람의 이야기를 사용하거나, 식별 가능한 세부 정보를 도구에 붙여 넣는 일은 절대 안 됩니다.
문장 표현은 AI가 도와주는 부분입니다. 진실, 동의, 존엄은 여러분이 지켜야 할 몫입니다.
글쓰기 작업에 적합합니다. 여러분의 메모와 동의를 받은 실제 성과를 명확한 초안으로 바꾸고, 보조금 제안서의 서술을 다듬고, 하나의 이야기를 여러 대상에 맞게 각색하는 데 유용합니다.
세부 사항을 지어냅니다. 언어 모델은 빈틈을 유창하지만 근거 없는 내용으로 채우므로, AI 초안은 실제로 없었던 인용문, 통계, 장면을 추가할 수 있습니다.
동의는 서명 한 번이 아니라 계속 이어 가는 대화입니다. 당사자는 자신의 이야기가 어떻게 쓰일지 알아야 하고, 이를 검토하고 승인할 수 있어야 하며, 언제든 철회할 수 있어야 합니다.
존엄과 주체성을 중심에 두십시오. 강점과 복잡성을 함께 전하고, 한 사람의 고난을 관심과 맞바꾸는 동정 서사는 피하십시오.
전형적인 클라이언트나 난민을 묘사하기 위해 AI 이미지 도구를 사용하지 마십시오. 프롬프트에 정체성을 전혀 언급하지 않아도 이런 도구는 고정관념을 그대로 재현합니다.
식별 가능한 세부 정보는 절대 붙여 넣지 말고, 이야기나 이미지에 AI의 도움을 받았다면 이를 밝히십시오.
작동 원리와 실패 지점
1모델은 빈틈을 실제로 없었던 일로 채웁니다
모델이 짧은 메모만으로 이야기를 써 내려갈 때, 유창한 텍스트를 예측하는 방식으로 빈틈을 채우는데, 그 텍스트는 원문에 전혀 없던 구체적인 내용을 주장하는 경우가 많습니다. 모델이 작성한 요약문을 꼼꼼히 주석 처리한 한 연구에서는, 70%가 넘는 요약에 환각(hallucination) 콘텐츠가 담겨 있었고, 그 대부분은 외재적(extrinsic) 환각, 즉 원문으로는 전혀 검증할 수 없는 내용이었으며, 그렇게 덧붙여진 내용의 대다수는 그냥 틀린 것이었습니다 (Maynez 외, 2020). 연구자들은 원문과 모순되는 환각과 원문으로 검증할 수 없는 환각을 구분하는데, 지어낸 인용문이나 꾸며낸 장면은 후자에 해당합니다 (Ji 외, 2023). 이는 추상적인 위험이 아닙니다. 변호사들이 챗봇이 지어낸 판례를, 조작된 인용문까지 포함해 담은 소송 서류를 제출했다가 제재를 받은 사례도 있습니다 (Mata v. Avianca, 2023).
2지어낸 세부 사항은 고정관념을 따르는 경향이 있습니다
모델이 빈틈을 채우려고 지어내는 내용은 중립적이지 않습니다. 집단 이름으로 시작하는 문장을 이어서 완성하도록 두었을 때, 이전 세대의 한 모델은 무슬림에 관해 약 3분의 2의 비율로 폭력적인 내용을 만들어 냈고, 약 4분의 1의 테스트에서 무슬림이라는 단어를 테러리스트와 연결 지었는데, 이는 다른 집단에 비해 훨씬 높은 비율이었으며, 긍정적인 단어로 미리 유도해도 이는 부분적으로만 줄어들었습니다 (Abid 외, 2021). 이미지 도구도 같은 양상을 보입니다. 프롬프트에 정체성을 전혀 언급하지 않아도 인구통계학적 고정관념을 재현하며, 이용자가 프롬프트를 아무리 조정해도 안정적으로 벗어날 수 없습니다 (Bianchi 외, 2023). 이민자나 난민 클라이언트에 관한 이야기에서, 이는 AI가 덧붙인 세부 사항이 조용히 비하적인 고정관념으로 흘러갈 수 있다는 뜻이며, 그래서 AI가 내용을 지어내게 두지 않고, 전형적인 클라이언트를 묘사하는 데도 사용하지 않는 것입니다.
3동의, 정확성, 존엄은 도구가 대신 짊어질 수 없는 책무입니다
이야기 속 사람을 지켜 주는 부분은 초안 작성 업무가 아니라 전문가로서의 판단입니다. 사회복지사 윤리강령은 클라이언트를 정확하게 표현하는 것과, 꼭 필요한 최소한의 정보만 공개하는 것을 실무자의 책무로 규정합니다 (National Association of Social Workers, 2021). 윤리적 스토리텔링에 관한 분야별 지침은 동의를 계속 이어지고 언제든 철회할 수 있는 대화로 다루며, 스토리텔러에게 자신의 이야기가 어떻게 쓰이는지 검토하고 승인할 권리를 부여하는데, 이는 당사자 없이는 그 사람에 관한 어떤 것도 결정하지 않는다는 원칙을 실제로 적용한 형태입니다 (Voice of Witness, n.d.; Commons Social Change Library, n.d.). 도구는 여러분의 문장을 정리할 수는 있지만, 동의를 받거나, 사실을 확인하거나, 한 사람의 존엄을 가늠할 수는 없으며, 이는 여전히 여러분의 몫입니다.
여러분의 메모와 재단의 프레임워크사실 확인과 승인이 필요한 보조금 사례 서술
동의를 받은 비식별화된 사실로 보조금 사례 서술 초안 작성하기
여기 어떤 성과에 관한 사실이고 비식별화된 내용과, 이 재단이 사용하는 프레임워크가 있습니다. 이 프레임워크에 맞는 짧은 사례 서술(vignette)의 초안을 작성해 주십시오. 제가 드린 사실만 사용하고, 제가 제공하지 않은 인용문, 숫자, 세부 사항은 추가하지 말며, 확신할 수 없는 부분은 표시해 주십시오. [비식별화된 사실을 붙여 넣으십시오, 이름이나 식별 정보 제외]
안전 수칙. 모든 문장을 여러분의 기록과 대조해 확인하고, 식별 정보는 넣지 말며, 발송하기 전에 당사자가 이 사례 서술을 검토하고 승인하게 하십시오. 자세한 내용은 모듈 4를 참고하십시오.
승인된 소감문과 여러분의 성과 데이터인용문을 그대로 살린 보고서 서술
승인된 인용문을 중심으로 보고서 서술 구성하기
승인된 이 소감문과 성과 수치를 바탕으로 서술 초안을 작성해 주십시오. 인용문은 한 글자도 바꾸지 말고 그대로 유지하며, 다시 쓰거나 바꿔 말하지 말고, 제가 나열하지 않은 성과나 숫자는 추가하지 마십시오. [승인된 인용문과 실제 수치를 붙여 넣으십시오]
안전 수칙. 도구가 인용문을 당사자가 말하지 않은 표현으로 바꾸게 두지 말고, 모든 수치를 여러분의 데이터와 대조해 확인하십시오. 자세한 내용은 모듈 2를 참고하십시오.
당사자의 언어로 전해진 이야기이중언어 담당자와 스토리텔러가 검토할 쉬운 말 초안
검토를 위해 이야기를 쉬운 말 버전으로 초안 작성하기
동의를 받은 이 이야기를 소식지에 실을 수 있도록 쉬운 읽기 수준의 쉬운 말로 바꾸되, 의미와 당사자 고유의 강조점은 그대로 유지해 주십시오. 세부 사항은 추가하지 말고, 표현으로 인해 의미가 바뀔 수 있는 부분은 표시해 주십시오. [동의를 받은 이야기를 붙여 넣으십시오, 식별 정보 제외]
안전 수칙. 공유하기 전에 자격을 갖춘 이중언어 담당자와 스토리텔러가 모두 검토하고, 동의가 이 버전을 구체적으로 포함하는지 확인하십시오. 자세한 내용은 모듈 3을 참고하십시오.
적용 예시
아무도 하지 않은 말
클라이언트의 성과에 관한 몇 가지 실제 사실을 모델에 주고 소식지에 실을 짧은 이야기를 요청합니다.
초안은 감동적이고 구체적이며, 클라이언트의 목소리로 쓴 진심 어린 인용문과 딱 떨어지는 통계까지 담고 있습니다.
그 인용문도 숫자도 여러분이 준 것이 아닙니다. 모델이 이야기를 그럴듯하게 만들려고 둘 다 지어낸 것입니다.
지어낸 인용문과 숫자를 잘라내고, 사실이고 동의받은 내용만 남긴 뒤, 당사자가 검토하게 합니다. AI는 여러분의 사실을 정리했을 뿐, 새로운 사실을 만들어 내서는 안 됩니다.
안전 수칙. 여러분은 누군가의 이야기를 전하는 통로이지, 그 이야기의 저자가 아닙니다. 동의, 정확성, 존엄은 여러분이 계속 지키고, AI는 문장 표현에서만 돕게 하십시오. 지어낸 세부 사항은 흔히 고정관념을 따르므로, 이는 편향과 공정성와 연결됩니다. 또한 모듈 4, 그리고 이야기 뒤에 있는 숫자에 관해서는 프로그램 데이터 분석하고 시각화하기를 참고하십시오.
출처
Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On faithfulness and factuality in abstractive summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 1906-1919). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.173
Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1-38. https://doi.org/10.1145/3571730
Abid, A., Farooqi, M., & Zou, J. (2021). Persistent anti-Muslim bias in large language models. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society (pp. 298-306). https://doi.org/10.1145/3461702.3462624
Bianchi, F., Kalluri, P., Durmus, E., Ladhak, F., Cheng, M., Nozza, D., Hashimoto, T., Jurafsky, D., Zou, J., & Caliskan, A. (2023). Easily accessible text-to-image generation amplifies demographic stereotypes at large scale. In Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (pp. 1493-1504). https://doi.org/10.1145/3593013.3594095
Mata v. Avianca, Inc., 678 F. Supp. 3d 443 (S.D.N.Y. 2023).