여러 차례의 대화 메모리
챗봇에는 자기만의 기억이 없어요 -> 모델은 호출마다 내가 보내는 것만 봐요. 대화를 이어 가려면 기록을 다시 재생해요: 시스템 메시지와 지금까지 오간 차례들. 하지만 기록은 한없이 자라고 맥락 창은 그렇지 않으니, 각 호출 전에 대화를 지키면서 맞게 다듬는 메모리가 필요해요.
정책은 실무 시스템들이 모여드는 바로 그거예요. 시스템 메시지는 늘 지키세요 -> 절대 잃으면 안 되는 지시와 인격을 싣고 있어요. 그다음 예산에 들어가는 만큼 가장 최근 차례를 지키고, 보통 차례 중 가장 오래된 것부터 버려요. 일관된 응답에는 최근 맥락이 가장 중요하니까요. 토큰 예산은 익숙한 추정 chars / 4를 써요.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually send이것이 바로 기기 내 WebLLM 엔진을 포함한 어떤 채팅 모델 앞에든 놓이는 객체예요: 차례를 쌓은 다음, 다음 호출의 메시지로 trimmed_context(...)를 넘겨요. 여기서는 모델이 돌지 않아요 -> 다듬기 로직은 결정적이고 바로 채점돼요.
Conversation 클래스를 만드세요. 생성자는 선택적인 system 메시지(고정, 결코 버리지 않음)를 받아요. add(role, content)는 차례를 덧붙여요. trimmed_context(max_tokens)는 지킨 차례를 시간 순서로 돌려줘요: 모든 시스템 메시지와, (chars / 4 규칙으로 합한) 추정 토큰이 max_tokens 안에 들어가는 가장 최근 보통 차례들로, 가장 오래된 것부터 버려요. 넉넉한 예산 아래의 짧은 기록은 통째로 지켜져요.
리스트 속성 turns에 차례를 순서대로 담는(각각 {"role", "content"} dict, Conversation(system=...)은 시스템 메시지를 첫 차례로 저장해요) Conversation 클래스를 만드세요: add(role, content)는 차례를 덧붙이고, trimmed_context(max_tokens)는 시스템 메시지(들)와 chars/4 토큰 예산에 들어가는 가장 새로운 끊기지 않은 연속 차례를 지켜 시간 순서로 돌려줘요. 가장 새 차례에서 거꾸로 돌다가 들어가지 않는 첫 차례에서 멈추세요: 차례 하나를 건너뛰고 더 오래된 것을 지키지 마세요. 가운데에 구멍이 있는 대화(질문 없는 답)는 모델을 헷갈리게 하니까요. 짧은 기록은 통째로 지켜지고, 빡빡한 예산은 가장 오래된 것을 버리되 시스템 메시지와 가장 새 차례는 지키고(가장 새 차례조차 들어가지 않으면 시스템 메시지만 남아요), 순서는 시간 순서로 남고, 토큰 추정이 정확해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.