Chương trình học Bài 180 trên tổng số 250 · Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn
Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn

Bộ nhớ đệm ngữ nghĩa và theo hash

Lệnh gọi mô hình rẻ nhất là lệnh bạn không bao giờ gọi. Các hệ thống LLM vận hành đặt một bộ nhớ đệm trước mô hình để các câu hỏi lặp lại hoặc gần lặp lại được trả lời miễn phí. Hai loại bao quát phần lớn trường hợp.

Bộ nhớ đệm theo hash lấy khóa từ chính xác yêu cầu. Mẹo là chuẩn hóa trước để các prompt khác nhau vụn vặt trùng nhau: viết thường văn bản, gộp các chuỗi khoảng trắng thành một dấu cách, và đưa mọi tùy chọn (temperature, model) vào theo một thứ tự ổn định, đã sắp xếp trước khi hash. Khi đó " Hello World " và "hello world" dùng chung một khóa. Viết thường là một sự đánh đổi: với phần lớn câu hỏi, chữ hoa chữ thường không đổi câu trả lời, nhưng đôi khi có (một định danh trong mã, "US" so với "us"), nên hãy bỏ bước đó khi prompt của bạn phân biệt hoa thường.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Bộ nhớ đệm ngữ nghĩa đi xa hơn: nó trả về một câu trả lời đã lưu khi một truy vấn mới có nghĩa giống một truy vấn cũ, đo bằng độ tương đồng cosine giữa các vector embedding. Nếu vector đã lưu gần nhất đạt điểm bằng hoặc trên một ngưỡng (giả sử 0.9), đó là một lần trúng; nếu không thì là trượt và bạn gọi mô hình. Trong một ứng dụng thật các vector đến từ một mô hình embedding; ở đây ta truyền thẳng chúng vào để logic giữ tất định. Mối nguy là một lần trúng sai: "làm sao để hủy đơn hàng của tôi?" và "làm sao để hủy gói đăng ký của tôi?" có thể nằm rất gần nhau trong không gian embedding và cần câu trả lời khác nhau. Đặt ngưỡng cao, đo số lần trúng sai trên lưu lượng thật trước khi tin nó, và không bao giờ đệm ngữ nghĩa những câu trả lời phụ thuộc vào ai đang hỏi.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Xây ba thứ. (1) Một lớp SemanticCache với put(query_vec, answer) và get(query_vec) trả về câu trả lời đã lưu của mục gần nhất khi độ tương đồng cosine của nó là >= self.threshold, nếu không thì None. (2) cache_key(prompt, **opts) chuẩn hóa (viết thường, gộp khoảng trắng, sắp xếp các khóa tùy chọn) và trả về một digest hex hashlib.sha256, để hai prompt khác nhau bề ngoài ánh xạ tới cùng một khóa. (3) make_memoized(fn) -> một callable dùng cache_key để đệm kết quả và phơi ra các bộ đếm .hits và .misses.

Đến lượt bạn

Xây (1) SemanticCache (một threshold trong __init__, cộng put(query_vec, answer) và get(query_vec) trả về câu trả lời gần nhất khi độ tương đồng cosine là >= ngưỡng, nếu không thì None); (2) cache_key(prompt, **opts): chuẩn hóa prompt bằng re.sub(r"\s+", " ", prompt.strip().lower()), rồi hash "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) bằng hashlib.sha256 và trả về digest hex (bài kiểm tra so sánh với đúng công thức này); (3) make_memoized(fn) trả về một callable có .hits và .misses. Một vector gần trùng phải trúng, một vector xa phải trượt, và hai prompt có khoảng trắng khác nhau phải dùng chung một khóa.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.