Bağlam Penceresi Bütçeleme Aracı
Her modelin sınırlı bir context windowu vardır: tek bir çağrıda okuyabileceği en fazla token sayısı. Uzun bir sohbet geçmişi sonunda bunu taşırır ve çağrı ya hata verir ya da sessizce kırpar. Üretim çözümü, göndermeden önce konuşmayı budayan bir budgeterdur.
Standart politika basit ve test edilmiş: her zaman sistem mesajını tut (talimatları ve asla bırakılmaması gereken kişiliği taşır), sonra çalışan token tahmini bütçeye uyunca en eski sıradan turları tek tek bırak. Tutarlılık için son turlar en önemli olanlardır, bu yüzden en son onlar gider.
Mesajlar tanıdık sohbet formatına benzer:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Önceki dersten bir token tahminçine (chars/4) zaten sahipsin; bu sana burada estimate_tokens olarak sunuldu. Toplamı elde etmek için her tutulan mesajın content değerini topla.
Build fit_to_budget(messages, max_tokens). Orijinal sıradaki mesajlardan oluşan yeni bir liste döndür, şu şekilde: sistem mesajları her zaman korunur; korunan mesajların toplam tahmini token sayısı, silme mümkün olduğunda <= max_tokens olur; ve silmen gerektiğinde, en eski sistem dışı mesajları önce silersin. Cömert bir bütçe her şeyi korur. Girdi listesini değiştirme.
Tutulan mesajları orijinal sırasıyla döndüren fit_to_budget(messages, max_tokens) yaz. Her sistem mesajını tut. Toplam tahmini token sayısı (her content üzerindeki estimate_tokens toplamı) <= max_tokens olana kadar en eski sistem dışı mesajları tek tek at. Cömert bir bütçe hiçbir şeyi atmaz; iki farklı bütçe farklı kümeleri tutmalı ve en yeni turlar eskiler yerine kalmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.