Chương trình học Bài 227 trên tổng số 250 · Dự án: Production AI Gateway
Dự án: Production AI Gateway

Tính toán Token/Chi phí + Caching

Gateway của bạn hiện đang chuyển tiếp các yêu cầu, nhưng mỗi lần gọi đến một model thực tế đều tốn tiền và thời gian. Hai đòn bẩy lớn nhất mà bạn có thể kiểm soát là cost accounting (để không ai bị sốc bởi hóa đơn) và caching (để bạn không phải trả tiền cho cùng một câu trả lời hai lần). Bài học này xây dựng cả hai, và phần caching có một điểm đặc biệt giúp nó thực sự hữu ích: nó bắt được các câu hỏi gần giống nhau, chứ không chỉ là những câu lặp lại từng byte một.

Bắt đầu với đơn vị đo. Một ước tính token rẻ tiền và mang tính xác định là "khoảng một token cho mỗi bốn ký tự", và chi phí chỉ là tokens nhân với tỷ lệ trên mỗi token:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Bây giờ là bộ nhớ đệm. Một bộ nhớ đệm đơn giản sẽ dựa trên chuỗi chính xác, nên "Reset my password" và "reset my password" trông giống như các câu hỏi khác nhau và cả hai đều phải trả toàn bộ chi phí. Bạn sẽ xây dựng một two-tier Cache class:

  • Cấp độ Hash: chuẩn hóa văn bản (chữ thường, xóa khoảng trắng thừa), băm nó, và lưu kết quả dưới khóa đó. Một nội dung lặp lại chính xác (sau khi chuẩn hóa) sẽ là một kết quả khớp ngay lập tức.
  • Cấp độ ngữ nghĩa:khi hash không khớp, hãy so sánh embedding của truy vấn với mọi embedding đã lưu bằng cosine similarity. Nếu cái gần nhất nằm ở hoặc trên một ngưỡng (ví dụ 0.9), đó cũng được tính là một hit. Đây là cách "password reset steps" hit một "how do I reset my password" đã được cache.

Cả put và get đều nhận văn bản và là một embedding đã tính trước (một vector nhỏ). get trả về một (status, value) tuple với status là "hit" hoặc "miss":

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

Độ tương đồng Cosine là tích vô hướng chia cho tích của các chuẩn; hãy phòng ngừa vectơ không để bạn không bao giờ chia cho không. Trong một gateway thực tế, các embeddings đó đến từ model, nhưng ở đây bạn truyền chúng vào trực tiếp để logic có thể kiểm tra ngoại tuyến. Nhấn Run để định giá một prompt, trúng cache chính xác, trúng lại khi diễn đạt lại, và xem một truy vấn không liên quan bị trượt.

Đến lượt bạn

Viết estimate_cost(text, rate) trả về ước tính token (~1 token mỗi 4 ký tự) nhân với rate trên mỗi token. Sau đó xây dựng lớp Cache hai tầng với put(text, embedding, answer) và get(text, embedding) trả về một tuple (status, value). get là một "hit" dựa trên khớp văn bản chính xác (đã chuẩn hóa: viết thường, xóa khoảng trắng dư thừa) qua hash, HOẶC khi embedding lưu trữ gần nhất có độ tương đồng cosine là >= ngưỡng (một kết quả khớp ngữ nghĩa); nếu không thì ("miss", None). Một truy vấn khác biệt với độ tương đồng thấp phải bị bỏ lỡ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.