Chương trình học Bài 181 trên tổng số 250 · Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn
Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn

Bộ nhớ đệm prompt phía nhà cung cấp

Bài trước bỏ qua mô hình khi một yêu cầu lặp lại. Bài này làm cho chính yêu cầu rẻ hơn. Phần lớn nhà cung cấp có bộ nhớ đệm prompt: bạn đánh dấu một tiền tố ổn định của prompt, và ở lệnh gọi tiếp theo dùng lại nó, nhà cung cấp bỏ qua việc xử lý lại các token đó và tính tiền chúng với mức giảm sâu. Đây là một đòn bẩy khác với bộ nhớ đệm câu trả lời bạn vừa xây:

  • Bộ nhớ đệm câu trả lời (bài trước): toàn bộ câu trả lời được dùng lại, nên bạn bỏ hẳn lệnh gọi. Chỉ hoạt động khi câu hỏi lặp lại.
  • Bộ nhớ đệm prompt (bài này): lệnh gọi vẫn diễn ra và bạn vẫn nhận một câu trả lời mới, nhưng tiền tố dùng chung rẻ hơn. Hoạt động ngay cả khi mọi câu hỏi đều khác nhau.

Cái gì nên nằm trong tiền tố được đệm? Những thứ lớn, ổn định đi kèm mọi lệnh gọi: một system prompt dài, các định nghĩa công cụ, các ví dụ few-shot, một tài liệu được truy xuất mà bạn sẽ hỏi vài câu về nó. Bạn đặt phần thay đổi (câu hỏi thật của người dùng) sau điểm ngắt của bộ đệm. Với Anthropic bạn đánh dấu ranh giới bằng một khối cache_control:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

Kinh tế học ở đây có ba mức giá, tất cả tính tương đối so với giá đầu vào bình thường. Một lần ghi đệm (lệnh gọi đầu tiên, lưu tiền tố) tốn khoảng 1.25x giá đầu vào. Một lần đọc đệm (một lệnh gọi sau trúng tiền tố đã lưu) tốn khoảng 0.1x giá đầu vào. Một lần trượt chỉ là 1x. Mục đệm sống vài phút và bộ hẹn giờ của nó làm mới sau mỗi lần trúng, nên một tiền tố bận rộn luôn được giữ ấm. Ba giới hạn thực tế: một tiền tố ngắn hơn mức tối thiểu của mô hình (vài trăm tới vài nghìn token, tùy mô hình) sẽ lặng lẽ không được đệm; bộ đệm là một phép so khớp tiền tố, nên đổi bất kỳ byte nào ở đầu prompt (giả sử một dấu thời gian trong system prompt) làm mất hiệu lực mọi thứ sau nó; và mỗi bộ đệm thuộc về một mô hình, nên đổi mô hình là bắt đầu lạnh. Kiểm tra usage.cache_read_input_tokens trên câu trả lời để xem bạn có thật sự trúng không. Điểm hòa vốn đến nhanh: nếu một tiền tố lớn được dùng lại dù chỉ vài lần, lần ghi 1.25x một lần trở nên nhỏ bé so với việc trả 0.1x thay vì 1x cho mỗi lần dùng lại.

Bạn sẽ xây mô hình chi phí quyết định liệu đệm một tiền tố có đáng không.

Đến lượt bạn

Mô hình hóa kinh tế học. Giá là đô la cho mỗi 1.000.000 token; dùng 3.0 cho đầu vào và 15.0 cho đầu ra. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): mỗi lệnh gọi trả đủ giá đầu vào trên prefix_tokens + variable_tokens cộng giá đầu ra trên output_tokens, nhân với calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): tiền tố được ghi một lần với 1.25x giá đầu vào, rồi được đọc ở calls - 1 lệnh gọi còn lại với 0.1x giá đầu vào; token thay đổi luôn trả đủ giá đầu vào, và đầu ra luôn trả đủ giá đầu ra ở mọi lệnh gọi. Giả sử calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) trả về True khi cached_cost nhỏ hơn hẳn uncached_cost. Trả về float thường (đô la).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.