재사용 가능한 프롬프트 라이브러리 만들기 / AI로 실제로 할 수 있는 일

AI로 실제로 할 수 있는 일

재사용 가능한 프롬프트 라이브러리 만들기

효과가 있는 프롬프트는 보관할 가치가 있습니다. 공유 라이브러리가 있으면 누구도 빈 입력창에서 시작하지 않아도 되고, 한 번 잘 쓴 프롬프트가 팀 전체로 퍼져 나갑니다.

구성 요소

신뢰할 수 있는 프롬프트가 명시하는 것

역할 6학년 읽기 수준으로 클라이언트에게 편지를 쓰는 사례 담당자 역할을 맡아 주십시오.

과제 예약에 어떤 서류를 가져와야 하는지 설명해 주십시오.

형식 120단어 이내의 쉬운 말로 된 짧은 번호 목록.

안전 수칙 세부 사항이 확실하지 않으면 그렇다고 밝히고, 사무실 운영 시간이나 규정을 지어내지 마십시오.

역할, 과제, 형식, 안전 수칙을 명시해 저장한 프롬프트가 있어야 결과가 그때그때 다르지 않고 반복 가능해집니다.

효과가 있는 프롬프트는 공유 문서에 보관해, 누구도 기억에 의존해 좋은 프롬프트를 다시 만들지 않아도 되고, 한 사람이 다듬은 프롬프트를 팀 전체가 그대로 가져와 쓸 수 있게 하십시오.
각 프롬프트에 무엇을 하는지 알려 주는 쉬운 이름을 붙이고, [텍스트를 붙여 넣으십시오, 클라이언트 식별 정보 제외]처럼 실제 세부 정보 대신 쓸 수 있는 라벨이 붙은 빈칸 버전을 함께 만드십시오.
각 프롬프트에 결과를 사용하기 전에 무엇을 확인해야 하는지 알려 주는 한 줄을 추가하십시오. 그 저장된 프롬프트는 작성하지 않은 사람도 실행하게 되기 때문입니다.
요청한 형식과 제시한 예시를 포함해, 효과가 있었던 정확한 문구를 그대로 적어 두십시오. 표현이나 예시를 조금만 바꿔도 돌아오는 결과가 달라질 수 있습니다.
저장하는 모든 프롬프트에서 클라이언트 이름, A 번호, 사건 세부 정보를 빼서, 공유 라이브러리가 클라이언트 데이터가 조용히 쌓이는 곳이 되지 않게 하십시오.
직원들이 프롬프트를 추가하고 검증된 것을 표시하게 하여, 라이브러리가 한 번 그럴듯해 보였던 것이 아니라 여러분의 프로그램에서 실제로 효과가 있는 것을 반영하도록 하십시오.
각 프롬프트에 날짜를 적어 두고, 도구가 바뀔 때마다 라이브러리를 다시 살펴보십시오. 한 버전의 도구에서 효과가 있던 문구가 어느새 다른 결과를 내놓기 시작할 수 있습니다.

작동 원리와 실패 지점

모델은 프롬프트 자체에서 과제를 학습합니다

이런 도구 중 하나에 프롬프트를 주면, 도구는 재훈련되지 않습니다. 여러분의 문구와 포함된 예시를 읽고, 눈앞의 정확한 텍스트를 조건으로 삼아 이번 한 번의 교환에 대한 답을 만들어 냅니다. 프롬프트 안에 놓인 지시와 몇 가지 예시로부터 과제를 익히는 이러한 행동은 문맥 내 학습(in-context learning)이라는 이름이 붙었고, 대규모로도 작동한다는 것이 확인되었습니다 (Brown 외, 2020). 그래서 예시가 곁들여진 명확한 지시가 맨 요청보다 더 나은 결과를 가져다주는 경우가 많고, 효과가 있었던 그 구체적인 프롬프트를 한 글자도 빠짐없이 저장해 둘 가치가 있는 것입니다.

표현을 조금만 바꿔도 답이 달라질 수 있습니다

모델은 눈앞의 정확한 텍스트를 조건으로 삼기 때문에, 표현을 바꾸거나, 예시 순서를 바꾸거나, 서식을 바꾸면 똑같은 요청도 다른 결과로 돌아올 수 있습니다. 한 통제된 연구는 의미는 그대로 둔 채 프롬프트 서식만 바꿔도 같은 과제에서 모델의 정확도가 넓은 범위에 걸쳐 달라진다는 사실을 발견했습니다 (Sclar 외, 2024). 기관 업무에서 이는 누군가 효과를 확인한 프롬프트가 하나의 구체적인 자산이며, 기억으로 다시 타이핑하면 클라이언트가 결국 보게 되는 결과가 조용히 달라질 수 있다는 뜻입니다.

저장되고 검증된 프롬프트는 작은 품질 관리 장치입니다

프롬프트가 필요한 결과를 안정적으로 내놓게 되면, 정확한 문구를 저장해 두는 것이 우연히 얻은 결과를 반복 가능한 결과로 바꿔 줍니다. 저장된 버전을 실행하는 모든 사람이 이미 검증된 문구에서 출발하므로, 결과물이 사람마다 크게 달라지지 않고, 여러분의 관심은 요청을 다시 만드는 대신 결과를 검증하는 데로 향합니다. 확인 문구를 프롬프트에 함께 붙여 두면, 그 검증 단계가 다음에 이를 실행하는 사람에게도 그대로 전달됩니다.

프롬프트를 재사용 가능하게 만들기

프롬프트를 팀이 재사용할 수 있는 템플릿으로 만드는 법

정책문에서 쉬운 말 안내문 만들기처럼, 무엇을 하는지 알려 주는 쉬운 이름을 붙이십시오.
구체적인 세부 정보는 [텍스트를 붙여 넣으십시오, 클라이언트 식별 정보 제외]처럼 명확히 라벨을 붙인 플레이스홀더로 바꾸십시오.
결과를 내보내기 전에 무엇을 확인해야 하는지 한 줄을 추가하십시오.
팀 전체가 열어서 편집할 수 있는 공유 문서에 저장하십시오.
날짜를 적어 두고, 도구가 바뀌면 다시 살펴보십시오.

한 번 효과가 있었던 프롬프트 재사용 가능한 팀 템플릿

효과가 있었던 프롬프트를 팀이 재사용할 수 있는 템플릿으로 바꾸기

이 프롬프트를 깔끔하고 재사용 가능한 템플릿으로 다시 써 주십시오. 구체적인 세부 정보는 명확히 라벨을 붙인 플레이스홀더로 바꾸고, 이름과 식별 정보는 넣지 말며, 결과를 사용하기 전에 무엇을 확인해야 하는지 이용자에게 상기시키는 한 줄을 추가해 주십시오. [저장하려는 프롬프트를 붙여 넣으십시오]

안전 수칙. 팀이 찾을 수 있는 곳에 템플릿을 보관하고, 클라이언트 식별 정보는 넣지 마십시오.

효과가 있다고 생각하는 프롬프트 부담 검증을 마친 프롬프트

라이브러리에 넣기 전에 프롬프트를 압박 검증하기

제 팀을 위해 저장하고 싶은 프롬프트입니다. 작성된 그대로 실행해 본 뒤, 표현이 모호한 부분, 이용자가 붙여 넣었을 때 문제가 생길 수 있는 부분, 이용자가 눈치채지 못한 채 결과가 잘못될 수 있는 부분을 알려 주십시오. 더 다듬어진 버전 하나를 제안하고, 결과를 신뢰하기 전에 이용자가 확인해야 할 사항을 목록으로 정리해 주십시오. [저장하려는 프롬프트를 붙여 넣으십시오]

안전 수칙. 다듬어진 프롬프트를 팀이 찾을 수 있는 곳에 보관하고, 클라이언트 식별 정보는 넣지 마십시오. 자세한 내용은 모듈 6을 참고하십시오.

쌓여 있는 저장된 프롬프트들 정리되어 찾기 쉬운 색인

라이브러리를 계속 쓸 수 있게 짧은 색인 초안 작성하기

저희 팀이 저장한 프롬프트 제목 목록입니다. 몇 가지 쉬운 범주로 묶고, 새로운 직원이 언제 사용할지 알 수 있도록 각각에 한 줄 설명을 제안하며, 중복으로 보이는 두 개가 있으면 표시해 주십시오. 그래야 저희가 통합할 수 있습니다. [프롬프트 제목 목록을 붙여 넣으십시오, 클라이언트 식별 정보 제외]

안전 수칙. 이 도구는 제목을 정리할 수 있지만 어떤 프롬프트가 안전하거나 최신인지는 판단할 수 없으므로, 라이브러리에 남기기 전에 사람이 각각을 검토합니다. 자세한 내용은 모듈 6을 참고하십시오.

적용 예시

기억으로 다시 타이핑한 같은 프롬프트

한 사례 담당자에게 혜택 통지서를 쉬운 말 안내문으로 안정적으로 바꿔 주는 프롬프트가 있으며, 이 프롬프트는 모든 날짜와 금액을 목록으로 정리하며 끝나 확인할 수 있게 되어 있습니다.
한 동료가 결과가 마음에 들어 기억을 더듬어 프롬프트를 다시 타이핑하는데, 날짜와 금액을 목록으로 정리해 달라는 마지막 문장을 빠뜨립니다.
동료의 버전도 똑같이 매끄럽게 읽히지만, 안내문은 더 이상 기한을 확인 가능한 목록으로 뽑아내지 않아서, 신청 기한이 문단 속에 묻혀 놓치기 쉬운 상태가 됩니다.
그들은 저장된 프롬프트를 한 글자도 빠짐없이 그대로 복사하고, 확인 가능한 목록이 다시 돌아옵니다. 그리고 정확한 문구를 공유 라이브러리에 추가해, 다음 사람이 검증된 프롬프트에서 출발하도록 합니다.

안전 수칙. 공유 프롬프트는 클라이언트 데이터를 담고 있지 않을 때만 안전합니다. 라이브러리를 깨끗하게 유지하고, 검토를 팀의 습관으로 만드십시오. 자세한 내용은 모듈 4와 모듈 6을 참고하십시오.

출처

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., ... Amodei, D. (2020). Language models are few-shot learners. In Advances in Neural Information Processing Systems 33 (pp. 1877-1901). https://arxiv.org/abs/2005.14165
Sclar, M., Choi, Y., Tsvetkov, Y., & Suhr, A. (2024). Quantifying language models' sensitivity to spurious features in prompt design or: How I learned to start worrying about prompt formatting. In The Twelfth International Conference on Learning Representations (ICLR). https://arxiv.org/abs/2310.11324