Gestore del budget della finestra di contesto
Ogni modello ha una finestra di contesto finita: il massimo di token che può leggere in una chiamata. Una lunga cronologia di chat prima o poi la supera, e la chiamata o va in errore o taglia in silenzio. La soluzione di produzione è un gestore del budget che taglia la conversazione prima di mandarla.
La politica standard è semplice e collaudata: tieni sempre il messaggio di sistema (porta le istruzioni e il personaggio che non devono mai essere scartati), poi scarta i turni ordinari più vecchi uno alla volta finché la stima dei token in corso non sta nel budget. I turni recenti contano di più per la coerenza, quindi sono gli ultimi ad andarsene.
I messaggi hanno il solito formato di chat:
[
{"role": "system", "content": "You are a careful assistant."},
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "The capital of France is Paris."},
{"role": "user", "content": "And of Spain?"}
]Hai già uno stimatore di token (caratteri/4) dalla lezione precedente; qui ti viene fornito come estimate_tokens. Sommalo sul content di ogni messaggio tenuto per avere il totale in corso.
Costruisci fit_to_budget(messages, max_tokens). Restituisci una nuova lista di messaggi, nell'ordine originale, tale che: il messaggio o i messaggi di sistema vengano sempre tenuti; il totale stimato dei token dei messaggi tenuti sia <= max_tokens ogni volta che scartare è possibile; e quando devi scartare, scarti prima i messaggi non di sistema più vecchi. Un budget generoso tiene tutto. Non modificare la lista in ingresso.
Scrivi fit_to_budget(messages, max_tokens) che restituisce i messaggi tenuti nell'ordine originale. Tieni ogni messaggio di sistema. Scarta uno per uno i messaggi non di sistema più vecchi finché il numero totale stimato di token (sommando estimate_tokens su ogni content) non è <= max_tokens. Un budget generoso non scarta niente; due budget diversi devono tenere insiemi diversi, e i turni più recenti sopravvivono rispetto a quelli più vecchi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.