비공개 베타

일반 챗봇은 텍스트만 만들어 냅니다. 에이전트는 그 같은 모델에 웹 검색, 서식 작성기, 코드 조각 같은 호출 가능한 도구들을 연결하고, 언제 그중 하나를 호출할지 판단하는 방법을 갖춘 것입니다. 모델이 구조화된 요청을 작성하면 도구가 실행되고, 그 결과가 다시 모델에게 읽히도록 전달됩니다. 언어 모델은 어떤 도구를 호출할지, 언제 호출할지, 무엇을 건네줄지 스스로 판단하도록 훈련될 수 있습니다 (Schick 외, 2023). 이 덕분에 에이전트는 무언가를 찾아보고, 그 답에 따라 행동하고, 여러분이 클릭 하나하나를 조작하지 않아도 계속 진행할 수 있는 것입니다.

에이전트는 순환 구조로 작동합니다. 다음에 무엇을 할지 추론하고, 행동을 취하고, 그 행동이 반환한 것을 읽은 뒤, 이를 바탕으로 다음 단계를 결정하며, 과제가 끝났다고 판단할 때까지 이를 반복합니다. 모델이 계획을 세우고, 도구를 호출하고, 관찰한 내용을 바탕으로 조정하는 식으로 추론과 행동을 이렇게 서로 엮는 것이, 이런 시스템들이 여러 단계에 걸친 과제를 수행하는 방식입니다 (Yao 외, 2023). 이 순환 구조에서 유용성이 나오는 동시에, 에이전트가 밟아 갈 경로를 미리 예측하기 어려운 이유도 바로 여기에 있습니다.

각 단계는 이전 단계의 결과물을 입력으로 삼기 때문에, 초반의 실수는 그 자리에 머물지 않습니다. 그것은 이후 모든 것의 출발점이 됩니다. 여러 단계짜리 과제에서 트랜스포머(transformer)를 다룬 한 연구는, 단계 수가 늘어날수록 정확도가 급격히 떨어지고 오류가 연쇄를 따라 누적된다는 사실을 발견했습니다 (Dziri 외, 2023). 이 효과는 에이전트 테스트에서 직접 드러납니다. 도구를 사용하는 에이전트에 대한 한 벤치마크에서, 선도적인 모델들도 과제의 절반에도 못 미치는 비율로만 완료했고, 같은 과제를 여덟 번 독립적으로 시도해 모두 성공한 비율은 4분의 1도 되지 않았습니다 (Yao 외, 2024). 기관 업무에서 사람이 결과가 중요한 각 행동을 승인해야 하는 이유가 바로 여기에 있습니다. 첫 단계에서 잘못된 수치나 잘못 읽은 규정을 잡아내면, 그것이 다섯 번째 단계에서 서식 제출을 이끌어 낼 기회 자체가 사라집니다.

에이전트는 여러분이 지정한 것이면 무엇이든 읽으며, 여러분의 지시와 문서, 이메일, 웹페이지에 심겨 있는 텍스트를 안정적으로 구분하지 못합니다. 프롬프트 인젝션(prompt injection)이라 불리는 이 빈틈은 이런 애플리케이션에서 최고 수준의 보안 위험으로 꼽히는데, 에이전트가 그저 열어 본 파일에 숨겨진 지시가 에이전트를 다른 방향으로 이끌 수 있기 때문입니다 (OWASP, 2025). 이는 이론적인 이야기가 아닙니다. 한 공개된 사례에서는 교묘하게 만든 이메일 한 통이 사용자의 클릭 없이도 기업용 AI 어시스턴트가 내부 파일을 유출하게 만들었고, 다른 사례에서는 한 에이전트가 운영 중인 프로덕션 데이터베이스를 삭제했습니다. 안전한 원칙은 하나의 에이전트에 클라이언트의 민감한 정보와 신뢰할 수 없는 콘텐츠에 대한 노출, 그리고 정보를 밖으로 내보낼 수단을 동시에 주지 않는 것입니다.