Kurrikulum Leson 189 van 250 · Produksiepatrone: Retries, Async, Streaming & Memory
Produksiepatrone: Retries, Async, Streaming & Memory

Geheue vir Multi-Turn Gesprekke

A chatbot het geen eie geheue nie -> die model sien net wat jy elke keer stuur. Om 'n gesprek te hou, speel jy die geskiedenis terug: die system message plus die heen-en-weer woorde tot nou toe. Maar geskiedenis groei sonder grens en die context window doen nie, so jy het 'n memory nodig wat die gesprek hou en dit voor elke oproep kort om te pas.

Die beleid is die een waarop produksiesisteme saamtrek. Hou altyd die systeemboodskap -> dit bevat die instruksies en persona wat nooit verlore mag gaan nie. Hou dan soveel van die mees-recente beurte as wat by die begrooting pas. Verwyder die oudste gewone beurte eerste, want onlangse konteks is die belangrikste vir 'n koherente antwoord. Tokenbegrotings gebruik die bekende skatting chars / 4.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

Dit is presies die objek wat voor enige kletsmodel sit, insluitend 'n on-device WebLLM engine: jy versamel beurte, dan stuur jy trimmed_context(...) as die messages vir die volgende call. Geen model hardloop hier nie -> die trimming logic is deterministies en word direk gegradeer.

Bou 'n Conversation klas. Die constructor neem 'n opsionele system message (gepen, nooit weggegooi nie). add(role, content) voeg 'n beurt by. trimmed_context(max_tokens) gee die gehoue beurte terug in chronologiese volgorde: elke stelselboodskap, plus die meesete gewone beurte waarvan die beraamde tokens (sommet met die chars / 4 reël) binne max_tokens pas, terwyl die oudstes eerste weggegooi word. 'n Kort geskiedenis onder 'n ruim begroting word heel gehou.

Jou beurt

Bou 'n Conversation-klas wat sy beurte in volgorde in 'n lys-attribuut turns hou (elke een is 'n {"role", "content"}-dict; Conversation(system=...) stoor die stelselboodskap as die eerste beurt): add(role, content) voeg 'n beurt by, en trimmed_context(max_tokens) hou die stelselboodskap(s) plus die nuutste unbroken run van beurte wat by 'n chars/4 token-begroting pas, teruggegee in chronologiese volgorde. Loop terug vanaf die nuutste beurt en stop by die eerste een wat nie pas nie: moenie 'n beurt ooslag en 'n ouer een hou nie, want 'n gesprek met 'n gat in die middel ('n antwoord sonder sy vraag) verwar die model. 'n Kort geskiedenis word heel gehou; 'n krappe begroting laat die oudste val maar hou die stelselboodskap en die nuutste beurt (as selfs die nuutste beurt nie pas nie, bly net die stelselboodskap); die volgorde bly chronologies; die token-skatting is korrek.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.