Müfredat 250 dersinden 132. · Yapay Zeka Mühendisleri için Prompt Mühendisliği
Yapay Zeka Mühendisleri için Prompt Mühendisliği

Bağlam ve Token Bütçesi

Her modelin sınırlı bir context window alanı vardır ve token başına ödeme yaparsın. Bir konuşma bütçeyi aşınca hepsini gönderemezsin, bu yüzden neyi tutacağına karar verirsin. Standart politika: sistem promptunu (kuralları o belirler) ve hala sığan most recent mesajları tut, eskileri at.

Basit bir bütçeleme aracı oluşturacaksın. Önce kaba bir token tahmincisi: gerçek tokenizerlar modele özgüdür, ancak sağlam bir çevrimdışı yaklaşım token başına yaklaşık 4 karakterdir. estimate_tokens(text) len(text) // 4 döndürür (ve 0 boş metin için, herhangi bir dolu metin için en az 1).

Sonra fit_context(system, messages, budget) neyin kalacağına karar verir:

  • Sistem istemi ilk olarak sayılır ve her zaman korunur.
  • Mesajları en yeniden en eskiye doğru yürü, tokenları hala bütçeye sığanları tut; bir sonraki taşarsa dur.
  • {"kept": [...], "dropped": n, "tokens": total} döndür, kept kronolojik sıraya göre geri getir.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Değerlendiricinin kontrol ettiği iki ince nokta: daha dar bir bütçe daha az (ve doğru) mesaj tutar, boş olmayan bir system prompt ise bütçeden yer kapladığı için daha az mesaj sığar. En yeniyi önce seçmek için tersine döngü kullan, sonra tutulan listeyi tekrar tersine çevir ki konuşma sırasıyla okunsun. Puanlamak için Run tuşuna bas.

Senin sıran

estimate_tokens(text) yaz ve len(text) // 4 döndür (boş için 0, dolu için en az 1). Sistemi önce sayan, sığan en yeni mesajları tutan (tersine dönerek ilerle) ve kept kronolojik sırada {"kept", "dropped", "tokens"} döndüren fit_context(system, messages, budget) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.