Multi-Turn-Konversationsspeicher
A chatbot hat kein eigenes Gedächtnis -> das Modell sieht nur das, was du ihm bei jedem Aufruf sendest. Um ein Gespräch zu führen, spielst du die Historie ab: die Systemnachricht plus die bisherigen Hin- und Herbewegungen. Aber die Historie wächst unbegrenzt und das Kontextfenster nicht, also brauchst du ein memory, das das Gespräch speichert und vor jedem Aufruf kürzt, um zu passen.
Die Richtlinie ist diejenige, auf die Produktionssysteme konvergieren. Behalte immer die system message -> sie trägt die Anweisungen und die Persona, die niemals verloren gehen dürfen. Behalte dann so viele der most-recent Züge wie ins Budget passen, wobei du zuerst die oldest gewöhnlichen Züge entfernst, weil der aktuelle Kontext am wichtigsten für eine kohärente Antwort ist. Token Budgets nutzen die bekannte Schätzung chars / 4.
convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64) # what you actually sendDies ist genau das Objekt, das vor jedem Chat-Modell steht, einschließlich einer On-Device WebLLM Engine: Du sammelst Turns an und übergibst dann trimmed_context(...) als die messages für den nächsten Call. Kein Modell läuft hier -> Die Trimming-Logik ist deterministisch und wird direkt bewertet.
Erstelle eine Conversation Klasse. Der Konstruktor nimmt eine optionale system message (festgepinnt, wird nie verworfen). add(role, content) fügt einen Turn hinzu. trimmed_context(max_tokens) gibt die behaltenen Turns in chronologischer Reihenfolge zurück: jede system message, plus die neuesten gewöhnlichen Turns, deren geschätzte tokens (summiert mit der chars / 4 rule) in max_tokens passen, wobei die ältesten zuerst verworfen werden. Eine kurze Historie unter einem großzügigen Budget wird ganz behalten.
Erstelle eine Conversation Klasse, die ihre Züge in einer Liste im Attribut turns hält (jeder ist ein {"role", "content"} Dictionary; Conversation(system=...) speichert die Systemnachricht als ersten Zug): add(role, content) fügt einen Zug hinzu, und trimmed_context(max_tokens) behält die Systemnachricht(en) plus den neuesten unbroken run von Zügen, der in ein chars/4 Budget passt, zurückgegeben in chronologischer Reihenfolge. Gehe vom neuesten Zug zurück und stoppe beim ersten, der nicht passt: Überspringe niemals einen Zug und behalte einen älteren, weil ein Gespräch mit einer Lücke in der Mitte (eine Antwort ohne ihre Frage) das Modell verwirrt. Eine kurze Historie wird ganz behalten; ein knappes Budget lässt den ältesten weg, aber behält die Systemnachricht und den neuesten Zug (wenn selbst der neueste Zug nicht passt, bleibt nur die Systemnachricht); die Reihenfolge bleibt chronologisch; die Token-Schätzung ist korrekt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.