Programma Lezione 189 di 250 · Schemi di produzione: nuovi tentativi, async, streaming e memoria
Schemi di produzione: nuovi tentativi, async, streaming e memoria

Memoria di conversazione a più turni

Un chatbot non ha memoria propria -> il modello vede solo ciò che gli mandi a ogni chiamata. Per tenere una conversazione rimandi la cronologia: il messaggio di sistema più i turni avanti e indietro fin qui. Ma la cronologia cresce senza limiti e la finestra di contesto no, quindi ti serve una memoria che tenga la conversazione e la tagli per farla stare prima di ogni chiamata.

La politica è quella su cui convergono i sistemi di produzione. Tieni sempre il messaggio di sistema -> porta le istruzioni e il personaggio che non devono mai andare persi. Poi tieni quanti più turni recenti ci stanno nel budget, scartando prima i turni ordinari più vecchi, perché il contesto recente conta di più per una risposta coerente. I budget di token usano la solita stima chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

È esattamente l'oggetto che sta davanti a qualsiasi modello di chat, compreso un motore WebLLM sul dispositivo: accumuli i turni, poi passi trimmed_context(...) come messaggi della chiamata successiva. Qui non gira nessun modello -> la logica del taglio è deterministica e viene valutata direttamente.

Costruisci una classe Conversation. Il costruttore riceve un messaggio system facoltativo (fissato, mai scartato). add(role, content) aggiunge un turno. trimmed_context(max_tokens) restituisce i turni tenuti in ordine cronologico: ogni messaggio di sistema, più i turni ordinari più recenti i cui token stimati (sommati con la regola chars / 4) ci stanno in max_tokens, scartando prima i più vecchi. Una cronologia breve con un budget generoso viene tenuta intera.

Tocca a te

Costruisci una classe Conversation che tiene i suoi turni in ordine in un attributo lista turns (ognuno un dict {"role", "content"}; Conversation(system=...) salva il messaggio di sistema come primo turno): add(role, content) aggiunge un turno, e trimmed_context(max_tokens) tiene il messaggio o i messaggi di sistema più la serie ininterrotta più recente di turni che ci sta in un budget di token chars/4, restituita in ordine cronologico. Torna indietro dal turno più nuovo e fermati al primo che non ci sta: non saltare mai un turno tenendone uno più vecchio, perché una conversazione con un buco in mezzo (una risposta senza la sua domanda) confonde il modello. Una cronologia breve viene tenuta intera; un budget stretto scarta i più vecchi ma tiene il messaggio di sistema e il turno più nuovo (se nemmeno il turno più nuovo ci sta, resta solo il messaggio di sistema); l'ordine resta cronologico; la stima dei token è giusta.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.