Token/Maliyet Muhasebesi + Önbelleğe Alma
Gateway rotaları şu an istekleri yönlendiriyor, ancak gerçek bir modele yapılan her çağrı para ve zaman maliyeti yaratır. Kontrol ettiğin en büyük iki kaldıraç cost accounting (böylece kimse faturaya şaşırmaz) ve caching (böylece aynı cevap için iki kez ödeme yapmayı durdurursun). Bu ders her ikisini de inşa ediyor ve caching kısmında onu gerçekten kullanışlı kılan bir sürpriz var: sadece bayt bazında tekrarları değil, birbirine çok yakın soruları da yakalıyor.
Metre ile başla. Ucuz, deterministik bir token tahmini "dört karakterde yaklaşık bir token" şeklindedir ve maliyet sadece token sayısı ile token başına oranı çarpımıdır:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateŞimdi önbellek. Naif bir önbellek tam metne göre anahtar oluşturur, bu yüzden "Reset my password" ve "reset my password" farklı sorular gibi görünür ve her ikisi de tam ücret öder. Bir two-tier Cache sınıfı oluşturacaksın:
- Hash katmanı: metni normalize et (küçük harf yap, boşlukları birleştir), hashle ve cevabı o anahtarın altına kaydet. Tam bir tekrar (normalize edildikten sonra) anında eşleşmedir.
- Anlamsal katman:hash eşleşmediğinde, sorgunun embedding değerini cosine similarity ile her saklanan embedding ile karşılaştır. Eğer en yakın olanı bir eşik değerinde (örneğin
0.9) veya üzerindeyse, bu da bir eşleşme sayılır."password reset steps"önbellekteki bir"how do I reset my password"değerine bu şekilde ulaşır.
Hem put hem de get metni and önceden hesaplanmış bir embedding (küçük bir vektör) alır. get durumun "hit" veya "miss" olduğu bir (status, value) tuple döndürür:
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)Cosine benzerliği, normların çarpımına bölünmüş nokta çarpımıdır; sıfır vektörüne karşı önlem al ki asla sıfıra bölme yapma. Gerçek bir gateway içinde bu embeddingler modelden gelir, ancak burada onları doğrudan gönderiyorsun böylece mantığı çevrimdışı test edebilirsin. Bir prompt'u fiyatlandırmak için Run tuşuna bas, önbelleği tam isabetle vur, bir paraphrase durumunda tekrar vur ve ilgisiz bir sorgunun kaçırdığını izle.
estimate_cost(text, rate) yaz ve bir token tahminini (~4 karaktere 1 token) rate ile çarp. Sonra put(text, embedding, answer) ve get(text, embedding) içeren, bir (status, value) demeti döndüren iki katmanlı bir Cache sınıfı oluştur. get, bir hash üzerinden tam (normalize edilmiş: küçük harf, boşlukları kaldırılmış) metin eşleşmesi durumunda veya en yakın saklanan embeddingin kosinüs benzerliği >= eşiği (anlamsal bir eşleşme) olduğunda bir "hit"'dir; aksi takdirde ("miss", None). Düşük benzerlikli farklı bir sorgu hata almalıdır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.