Bağlam ve Token Bütçesi
Her modelin sınırlı bir context window alanı vardır ve token başına ödeme yaparsın. Bir konuşma bütçeyi aşınca hepsini gönderemezsin, bu yüzden neyi tutacağına karar verirsin. Standart politika: sistem promptunu (kuralları o belirler) ve hala sığan most recent mesajları tut, eskileri at.
Basit bir bütçeleme aracı oluşturacaksın. Önce kaba bir token tahmincisi: gerçek tokenizerlar modele özgüdür, ancak sağlam bir çevrimdışı yaklaşım token başına yaklaşık 4 karakterdir. estimate_tokens(text) len(text) // 4 döndürür (ve 0 boş metin için, herhangi bir dolu metin için en az 1).
Sonra fit_context(system, messages, budget) neyin kalacağına karar verir:
- Sistem istemi ilk olarak sayılır ve her zaman korunur.
- Mesajları en yeniden en eskiye doğru yürü, tokenları hala bütçeye sığanları tut; bir sonraki taşarsa dur.
-
{"kept": [...], "dropped": n, "tokens": total}döndür,keptkronolojik sıraya göre geri getir.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveDeğerlendiricinin kontrol ettiği iki ince nokta: daha dar bir bütçe daha az (ve doğru) mesaj tutar, boş olmayan bir system prompt ise bütçeden yer kapladığı için daha az mesaj sığar. En yeniyi önce seçmek için tersine döngü kullan, sonra tutulan listeyi tekrar tersine çevir ki konuşma sırasıyla okunsun. Puanlamak için Run tuşuna bas.
estimate_tokens(text) yaz ve len(text) // 4 döndür (boş için 0, dolu için en az 1). Sistemi önce sayan, sığan en yeni mesajları tutan (tersine dönerek ilerle) ve kept kronolojik sırada {"kept", "dropped", "tokens"} döndüren fit_context(system, messages, budget) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.