Bộ phân bổ cửa sổ ngữ cảnh
Mọi mô hình đều có một cửa sổ ngữ cảnh hữu hạn: số token tối đa nó đọc được trong một lệnh gọi. Một lịch sử trò chuyện dài cuối cùng sẽ tràn nó, và lệnh gọi hoặc báo lỗi hoặc lặng lẽ cắt bớt. Cách sửa trong vận hành là một bộ phân bổ cắt gọn cuộc trò chuyện trước khi bạn gửi nó.
Chính sách chuẩn đơn giản và đã được kiểm chứng: luôn giữ thông điệp system (nó mang các chỉ dẫn và vai trò không bao giờ được bỏ), rồi bỏ các lượt thường cũ nhất từng cái một cho tới khi ước lượng token cộng dồn vừa ngân sách. Các lượt gần đây quan trọng nhất cho sự mạch lạc, nên chúng là thứ bị bỏ sau cùng.
Các thông điệp có dạng trò chuyện quen thuộc:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Bạn đã có một bộ ước lượng token (ký tự/4) từ bài trước; ở đây nó được cung cấp sẵn là estimate_tokens. Cộng nó trên content của mọi thông điệp được giữ để có tổng cộng dồn.
Xây fit_to_budget(messages, max_tokens). Trả về một list thông điệp mới, theo thứ tự ban đầu, sao cho: (các) thông điệp system luôn được giữ; tổng số token ước lượng của các thông điệp được giữ là <= max_tokens mỗi khi còn bỏ được; và khi buộc phải bỏ, bạn bỏ các thông điệp không phải system cũ nhất trước. Một ngân sách rộng rãi giữ tất cả. Đừng sửa đổi list đầu vào.
Viết fit_to_budget(messages, max_tokens) trả về các thông điệp được giữ theo thứ tự ban đầu. Giữ mọi thông điệp system. Bỏ các thông điệp không phải system cũ nhất từng cái một cho tới khi tổng số token ước lượng (cộng estimate_tokens trên mỗi content) là <= max_tokens. Một ngân sách rộng rãi không bỏ gì; hai ngân sách khác nhau phải giữ hai tập khác nhau, và các lượt gần nhất sống sót thay vì các lượt cũ hơn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.