Chương trình học Bài 132 trên tổng số 250 · Kỹ thuật prompt cho kỹ sư AI
Kỹ thuật prompt cho kỹ sư AI

Ngân sách ngữ cảnh và token

Mọi mô hình đều có một cửa sổ ngữ cảnh hữu hạn, và bạn trả tiền theo token. Khi một cuộc trò chuyện dài quá ngân sách, bạn không thể gửi hết, nên bạn quyết định giữ gì. Chính sách chuẩn: giữ system prompt (nó đặt quy tắc) cộng các thông điệp gần nhất vẫn còn vừa, và bỏ các thông điệp cũ nhất.

Bạn sẽ xây một bộ phân bổ đơn giản. Trước hết, một bộ ước lượng token thô: các bộ tách token thật phụ thuộc vào mô hình, nhưng một xấp xỉ ngoại tuyến chắc chắn là khoảng 4 ký tự cho mỗi token. estimate_tokens(text) trả về len(text) // 4 (và 0 cho văn bản rỗng, ít nhất 1 cho mọi văn bản khác rỗng).

Rồi fit_context(system, messages, budget) quyết định cái gì sống sót:

  • System prompt được đếm trước và luôn được giữ.
  • Đi qua các thông điệp từ mới nhất tới cũ nhất, giữ mỗi cái mà token của nó vẫn vừa dưới ngân sách; dừng khi cái tiếp theo sẽ tràn.
  • Trả về {"kept": [...], "dropped": n, "tokens": total} với kept được trả về thứ tự thời gian.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Hai điểm tinh tế mà bộ chấm kiểm tra: một ngân sách chật hơn giữ ít thông điệp hơn (và đúng các thông điệp), và một system prompt khác rỗng ăn vào ngân sách nên ít thông điệp vừa hơn. Lặp ngược để chọn mới nhất trước, rồi đảo list được giữ lại để cuộc trò chuyện đọc theo thứ tự. Nhấn Chạy để chấm điểm.

Đến lượt bạn

Viết estimate_tokens(text) trả về len(text) // 4 (0 cho rỗng, ít nhất 1 cho khác rỗng). Viết fit_context(system, messages, budget) đếm system trước, giữ các thông điệp mới nhất còn vừa (lặp ngược), và trả về {"kept", "dropped", "tokens"} với kept trở lại thứ tự thời gian.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.