Budget di contesto e di token
Ogni modello ha una finestra di contesto finita, e paghi per token. Quando una conversazione cresce oltre il budget, non puoi mandarla tutta, quindi decidi che cosa tenere. La politica standard: tieni il prompt di sistema (fissa le regole) più i messaggi più recenti che ci stanno ancora, e scarta i più vecchi.
Costruirai un semplice gestore del budget. Prima, uno stimatore approssimativo di token: i tokenizer veri dipendono dal modello, ma una buona approssimazione offline è circa 4 caratteri per token. estimate_tokens(text) restituisce len(text) // 4 (e 0 per un testo vuoto, almeno 1 per qualsiasi testo non vuoto).
Poi fit_context(system, messages, budget) decide che cosa sopravvive:
- Il prompt di sistema viene contato per primo e tenuto sempre.
- Percorri i messaggi dal più nuovo al più vecchio, tenendo ciascuno i cui token ci stanno ancora nel budget; fermati quando il successivo lo farebbe traboccare.
- Restituisci
{"kept": [...], "dropped": n, "tokens": total}conkeptriportato in ordine cronologico.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveLe due sottigliezze che controlla il correttore: un budget più stretto tiene meno messaggi (e quelli giusti), e un prompt di sistema non vuoto mangia parte del budget così ci stanno meno messaggi. Scorri al contrario per scegliere prima i più nuovi, poi rigira la lista tenuta così la conversazione si legge in ordine. Premi Run per la correzione.
Scrivi estimate_tokens(text) che restituisce len(text) // 4 (0 per un testo vuoto, almeno 1 per uno non vuoto). Scrivi fit_context(system, messages, budget) che conta prima il sistema, tiene i messaggi più nuovi che ci stanno (scorrendo al contrario), e restituisce {"kept", "dropped", "tokens"} con kept di nuovo in ordine cronologico.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.