비공개 베타

따로 고르지 않으면 도구는 작고 빠르고 값싼 모델을 내어 줍니다. 대부분의 질문에는 그 이상이 필요 없기 때문입니다. 이 모델은 바로 쓰기 시작합니다. 이메일 문장을 다듬거나, 문단을 줄이거나, 직접 붙여 넣은 문서를 요약하는 정도라면 이 모델로 충분하고 속도도 이득입니다.

추론이나 사고라고 표시된 모델은 답을 보여 주기 전에 중간 단계를 길게 적어 내려갑니다. 단계를 밟아 푸는 방식은 여러 단계가 필요한 문제에서 정확도를 실제로 끌어올립니다 (Wei 외, 2022). 조건이 세 개 걸린 자격 요건 규정이나 문서 두 개를 맞대어 보는 일이 바로 그런 문제입니다. 대신 느리고, 길게는 1분 넘게 걸리며, 비용도 더 듭니다.

모델이 보여 주는 단계는 답에 이른 과정을 기록한 것이 아닙니다. 연구진이 프롬프트(prompt)에 힌트를 슬쩍 심어 답을 바꿔 놓았더니, 모델은 그 힌트를 한 번도 언급하지 않은 채 자신 있게 단계별 설명을 써냈습니다 (Turpin 외, 2023). 추론 모델은 덜렁대는 실수를 덜 합니다. 그래도 자신 있게 틀릴 수 있고, 실제로 쓸 내용은 여전히 직접 확인해야 합니다.

실수가 클라이언트에게 손해로 돌아올 때, 질문에 조건이 둘 이상 들어 있을 때, 무언가를 만들어 달라는 것이 아니라 이미 만든 것을 검토해 달라고 할 때는 추론 모델을 쓰십시오. 어조를 고치거나 초안을 잡는 일, 어차피 꼼꼼히 읽어 볼 글이라면 빠른 모델로 충분합니다.

훈련은 다음 토큰에 대한 모델의 예측이 학습 중인 텍스트와 맞아떨어질 때까지 수십억 개의 내부 수치를 조금씩 돌립니다. 그 수치가 파라미터이고, 모델이 간직하는 것은 그것뿐입니다. 80억 개냐 4000억 개냐를 세는 것은 패턴을 담을 그릇이 얼마나 큰지를 재는 일입니다. 사실의 개수를 세는 것이 아닙니다. 모델은 사실을 저장하지 않습니다.

모델이 얼마나 유능해질지는 세 가지가 정합니다. 얼마나 많은 텍스트로 배웠는가, 훈련에 연산을 얼마나 썼는가, 파라미터가 몇 개인가입니다. 셋이 함께 올라가야 성능이 오르고, 하나만 키우면 나머지 둘을 낭비합니다 (Kaplan 외, 2020). 큰 모델을 텍스트도 부족한 채로 훈련시키면, 더 많은 텍스트로 훈련한 작은 모델에게 집니다 (Hoffmann 외, 2022). 클로즈드 모델(closed model)을 파는 회사들은 이 셋 중 어느 것도 공개하지 않습니다. 그래서 어떤 모델이 다른 모델보다 크다는 말조차 밖에서는 확인할 길이 없습니다.

파라미터가 수천억 개인 대규모 언어 모델(large language model)은 데이터센터(data center)에서 돌아가고 인터넷을 통해 우리에게 옵니다. 파라미터가 수십억 개인 소규모 언어 모델(small language model)은 인터넷 없이 노트북이나 휴대전화에서도 돌아갈 만큼 작습니다. 작은 모델은 싸고 빠르고 밖으로 나가지 않으며, 대신 할 수 있는 일이 눈에 띄게 적습니다. 지금은 둘 다 서로 다른 쓰임을 겨냥해 일부러 만듭니다.

작은 모델이 모든 일을 잘하지는 못합니다. 그러나 좁은 과제 하나에 맞춰 더 학습시키면 그 과제에서는 훨씬 큰 범용 모델과 맞붙을 만해집니다. 큰 모델이 작은 모델을 가르치는 방법도 있는데, 이를 증류(distillation)라고 부릅니다 (Hinton 외, 2015). 자기 영역을 벗어나면 통하지 않습니다. 대신 그 안에서는 연산도 전기도 훨씬 적게 쓰고 일을 해내며, 이는 비용과 환경 부담에 그대로 영향을 줍니다.

토크나이저(tokenizer)는 영어를 몇 조각으로만 자르지만 다른 많은 언어는 같은 내용이라도 최대 다섯 배까지 더 잘게 자릅니다. 그래서 같은 요청이라도 클라이언트의 언어에서는 비용이 더 들고, 더 느리고, 모델이 한 번에 담아 둘 수 있는 분량도 빨리 차 버립니다 (Ahia 외, 2023). 모델을 줄이면 가장 적게 배운 언어부터 무너집니다. 영어로는 그럭저럭 읽히는 작은 모델이 베트남어나 암하라어, 아이티 크리올어에서는 눈에 띄게 나빠지는 이유입니다.

널리 알려진 어시스턴트는 대부분 클로즈드입니다. 회사가 훈련된 파라미터를 쥐고 있고, 우리는 그 회사의 앱이나 API를 통해서만 모델에 닿습니다. 안을 들여다볼 수도, 직접 돌릴 수도 없고, 회사가 모델을 바꾸거나 접으면 붙잡아 둘 수도 없습니다. 무엇으로 학습시켰는지, 크기가 얼마인지, 지난 업데이트에서 무엇이 바뀌었는지 알려 줄 의무도 없고, 대체로 알려 주지 않습니다. 입력한 글은 답을 받기 위해 그 회사 서버로 넘어갑니다.

훈련된 파라미터를 공개하는 회사들도 있습니다. 그러면 누구나 모델을 내려받아 자기 컴퓨터나 기관 서버에서 돌릴 수 있습니다. 인터넷이 끊긴 노트북이 답을 해 주는 것도, 작은 업체가 남의 모델을 빌리지 않고 제품을 만드는 것도 이 덕분입니다.

공개된 가중치는 훈련이 끝난 뒤의 숫자입니다. 그 숫자를 만들어 낸 학습 데이터(training data)와 학습 코드는 대개 공개되지 않으므로 밖에서는 모델을 뜯어보거나 다시 만들어 볼 수 없습니다. 오픈소스 이니셔티브가 오픈소스라는 말을 그것이 가능한 모델에만 쓰는 이유입니다 (Open Source Initiative, 2024). 라이선스도 제각각입니다. 표준적인 허용 라이선스를 붙인 모델도 있고, 누가 어떤 용도로 쓸 수 있는지를 제한하는 자체 약관을 단 모델도 있습니다. 기관이 어떤 모델 위에 무언가를 얹을 계획이라면 라이선스를 먼저 읽으십시오.

기관이 직접 관리하는 장비에서 모델을 돌리는 것은 클라이언트의 글이 건물 밖으로 나가지 않는 유일한 방법입니다. 오픈웨이트에 관심을 가질 실질적인 이유입니다. 다만 과장하기도 쉽습니다. 오픈 모델로 만든 앱이라도 모든 문장을 클라우드 서버로 보낼 수 있습니다. 글이 어디로 가는지 직접 묻고, 답을 문서로 받아 두십시오.

이 모델들은 방대한 웹 텍스트에 더해 라이선스를 사거나 구매한 자료로 학습했습니다. 클로즈드 모델은 그 목록을 공개하지 않으므로, 지금 묻는 그 규정에 관해 모델이 쓸 만한 자료를 본 적이 있는지 확인할 방법이 없습니다. 웹 텍스트는 영어에 크게 쏠려 있고 클라이언트의 언어에서는 빈약합니다. 언어 격차는 여기서 시작됩니다.

학습은 어느 시점에서 멈추고, 모델이 외운 내용도 거기서 멈춥니다. 요즘은 그 이후를 메우려고 실시간 웹 검색을 붙인 도구가 많습니다. 도움이 되지만 질문이 옮겨 갈 뿐입니다. 답의 수준은 그때 마침 긁어 온 페이지 수준을 넘지 못하므로, 어떤 출처를 썼는지 묻고 직접 열어 보십시오.

같은 정보라도 긴 입력의 앞이나 끝에 있으면 잘 찾아내지만, 가운데에 파묻혀 있으면 놓치는 일이 많고, 입력이 길어질수록 정확도가 떨어집니다 (Liu 외, 2024). 40쪽짜리 정책 문서를 통째로 붙여 넣고 좁은 질문 하나를 던지면, 모델이 분명히 읽은 문단을 답에서 빠뜨릴 수 있습니다. 파일을 통째로 넘기지 말고 필요한 대목을 인용하십시오.

모델이 텍스트를 예측할 수 있게 되면, 사람이 피드백을 주며 지시를 따르고 특정한 어조로 답하고 어떤 요청은 거절하도록 조정합니다 (Ouyang 외, 2022). 두 모델의 대화 느낌이 다른 이유는 크기가 아니라 이 단계입니다. 이 과정은 동의하는 태도에 보상을 줍니다. 이렇게 훈련된 어시스턴트는 사용자가 밝힌 의견에 맞춰 주는 경향이 있고, 사용자가 밀어붙이면 맞는 답도 거둬들입니다 (Sharma 외, 2024). 잘못된 전제를 건네면 모델은 그 위에 답을 쌓아 올립니다.

모델은 조용히 재훈련되고 업데이트됩니다. 메뉴에 뜨는 같은 이름이 지난달과 다른 물건일 수 있습니다. 업데이트 뒤에는 저장해 둔 프롬프트를 다시 시험해 보고, 이 도구가 무엇을 잘한다고 내렸던 판단도 다시 점검하십시오.