Chương trình học Bài 189 trên tổng số 250 · Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ
Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ

Bộ nhớ hội thoại nhiều lượt

Một chatbot không có bộ nhớ của riêng nó -> mô hình chỉ thấy những gì bạn gửi cho nó mỗi lần gọi. Để giữ một cuộc hội thoại, bạn phát lại lịch sử: tin nhắn system cộng các lượt qua lại cho tới giờ. Nhưng lịch sử lớn lên không giới hạn còn cửa sổ ngữ cảnh thì không, nên bạn cần một bộ nhớ giữ cuộc hội thoại và cắt nó cho vừa trước mỗi lần gọi.

Chính sách là cái mà các hệ thống thật đều đi tới. Luôn giữ tin nhắn system -> nó mang các chỉ dẫn và vai trò không bao giờ được mất. Rồi giữ càng nhiều lượt gần nhất càng tốt miễn vừa ngân sách, bỏ các lượt thường cũ nhất trước, vì ngữ cảnh gần đây quan trọng nhất cho một câu trả lời mạch lạc. Ngân sách token dùng ước lượng quen thuộc chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

Đây chính là đối tượng đứng trước bất kỳ mô hình chat nào, kể cả một động cơ WebLLM trên thiết bị: bạn tích lũy các lượt, rồi truyền trimmed_context(...) làm messages cho lần gọi tiếp theo. Không có mô hình nào chạy ở đây -> logic cắt bớt có tính quyết định và được chấm trực tiếp.

Xây một lớp Conversation. Hàm khởi tạo nhận một tin nhắn system tùy chọn (được ghim, không bao giờ bị bỏ). add(role, content) nối một lượt. trimmed_context(max_tokens) trả về các lượt được giữ theo thứ tự thời gian: mọi tin nhắn system, cộng các lượt thường gần nhất mà số token ước lượng (cộng lại theo quy tắc chars / 4) vừa trong max_tokens, bỏ cũ nhất trước. Một lịch sử ngắn dưới một ngân sách rộng rãi được giữ nguyên.

Đến lượt bạn

Xây một lớp Conversation giữ các lượt theo thứ tự trong một thuộc tính list turns (mỗi lượt là một dict {"role", "content"}; Conversation(system=...) lưu tin nhắn system làm lượt đầu tiên): add(role, content) nối một lượt, và trimmed_context(max_tokens) giữ (các) tin nhắn system cộng chuỗi liền mạch mới nhất các lượt vừa một ngân sách token chars/4, trả về theo thứ tự thời gian. Đi lùi từ lượt mới nhất và dừng ở lượt đầu tiên không vừa: không bao giờ bỏ qua một lượt mà giữ một lượt cũ hơn, vì một cuộc hội thoại có một lỗ hổng ở giữa (một câu trả lời không có câu hỏi) làm mô hình bối rối. Một lịch sử ngắn được giữ nguyên; một ngân sách chật bỏ các lượt cũ nhất nhưng giữ tin nhắn system và lượt mới nhất (nếu ngay cả lượt mới nhất cũng không vừa, chỉ còn tin nhắn system); thứ tự giữ theo thời gian; ước lượng token đúng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.