Bộ nhớ đệm prompt phía nhà cung cấp
Bài trước bỏ qua mô hình khi một yêu cầu lặp lại. Bài này làm cho chính yêu cầu rẻ hơn. Phần lớn nhà cung cấp có bộ nhớ đệm prompt: bạn đánh dấu một tiền tố ổn định của prompt, và ở lệnh gọi tiếp theo dùng lại nó, nhà cung cấp bỏ qua việc xử lý lại các token đó và tính tiền chúng với mức giảm sâu. Đây là một đòn bẩy khác với bộ nhớ đệm câu trả lời bạn vừa xây:
- Bộ nhớ đệm câu trả lời (bài trước): toàn bộ câu trả lời được dùng lại, nên bạn bỏ hẳn lệnh gọi. Chỉ hoạt động khi câu hỏi lặp lại.
- Bộ nhớ đệm prompt (bài này): lệnh gọi vẫn diễn ra và bạn vẫn nhận một câu trả lời mới, nhưng tiền tố dùng chung rẻ hơn. Hoạt động ngay cả khi mọi câu hỏi đều khác nhau.
Cái gì nên nằm trong tiền tố được đệm? Những thứ lớn, ổn định đi kèm mọi lệnh gọi: một system prompt dài, các định nghĩa công cụ, các ví dụ few-shot, một tài liệu được truy xuất mà bạn sẽ hỏi vài câu về nó. Bạn đặt phần thay đổi (câu hỏi thật của người dùng) sau điểm ngắt của bộ đệm. Với Anthropic bạn đánh dấu ranh giới bằng một khối cache_control:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]Kinh tế học ở đây có ba mức giá, tất cả tính tương đối so với giá đầu vào bình thường. Một lần ghi đệm (lệnh gọi đầu tiên, lưu tiền tố) tốn khoảng 1.25x giá đầu vào. Một lần đọc đệm (một lệnh gọi sau trúng tiền tố đã lưu) tốn khoảng 0.1x giá đầu vào. Một lần trượt chỉ là 1x. Mục đệm sống vài phút và bộ hẹn giờ của nó làm mới sau mỗi lần trúng, nên một tiền tố bận rộn luôn được giữ ấm. Ba giới hạn thực tế: một tiền tố ngắn hơn mức tối thiểu của mô hình (vài trăm tới vài nghìn token, tùy mô hình) sẽ lặng lẽ không được đệm; bộ đệm là một phép so khớp tiền tố, nên đổi bất kỳ byte nào ở đầu prompt (giả sử một dấu thời gian trong system prompt) làm mất hiệu lực mọi thứ sau nó; và mỗi bộ đệm thuộc về một mô hình, nên đổi mô hình là bắt đầu lạnh. Kiểm tra usage.cache_read_input_tokens trên câu trả lời để xem bạn có thật sự trúng không. Điểm hòa vốn đến nhanh: nếu một tiền tố lớn được dùng lại dù chỉ vài lần, lần ghi 1.25x một lần trở nên nhỏ bé so với việc trả 0.1x thay vì 1x cho mỗi lần dùng lại.
Bạn sẽ xây mô hình chi phí quyết định liệu đệm một tiền tố có đáng không.
Mô hình hóa kinh tế học. Giá là đô la cho mỗi 1.000.000 token; dùng 3.0 cho đầu vào và 15.0 cho đầu ra. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): mỗi lệnh gọi trả đủ giá đầu vào trên prefix_tokens + variable_tokens cộng giá đầu ra trên output_tokens, nhân với calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): tiền tố được ghi một lần với 1.25x giá đầu vào, rồi được đọc ở calls - 1 lệnh gọi còn lại với 0.1x giá đầu vào; token thay đổi luôn trả đủ giá đầu vào, và đầu ra luôn trả đủ giá đầu ra ở mọi lệnh gọi. Giả sử calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) trả về True khi cached_cost nhỏ hơn hẳn uncached_cost. Trả về float thường (đô la).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.