Konteks en Token-begroting
Elke model het 'n eindige context window, en jy betaal per token. Wanneer 'n gesprek oor die begrooting groei, kan jy nie alles stuur nie, so besluit jy wat om te hou. Die standaardbeleid: hou die system prompt (dit stel die reëls) plus die mees onlangse boodskappe wat nog pas, en verwyder die oudstes.
Jy gaan 'n eenvoudige begrotingsprogram bou. Eers, 'n ruwe token-skatting: werklike tokenizers is model-spesifiek, maar 'n goeie aflyn-benadering is ongeveer 4 karakters per token. estimate_tokens(text) gee terug len(text) // 4 (en 0 vir leë teks, ten minste 1 vir enige nie-leë teks).
Dan fit_context(system, messages, budget) besluit wat oorleef:
- Die stelselprompt word eerste getel en altyd behou.
- Loop deur die boodskappe van nuutste tot oudste, hou elke een waarvan die tokens nog binne die begroting pas; stop wanneer die volgende een oorloop.
- Gee
{"kept": [...], "dropped": n, "tokens": total}metkeptherstel tot chronologiese volgorde.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20} # newest two surviveDie twee subtiele dinge wat die grader nagaan: 'n strenger begroting hou minder (en die regte) boodskappe, en 'n nie-leë system prompt gebruik deel van die begroting sodat minder boodskappe pas. Itereer in omgekeerde volgorde om die nuutste eerste te kies, en draai dan die behoude lys terug sodat die gesprek in volgorde lees. Druk Run om te gradeer.
Skryf estimate_tokens(text) wat len(text) // 4 teruggee (0 vir leeg, ten minste 1 vir nie-leeg). Skryf fit_context(system, messages, budget) wat die stelsel eerste tel, die nuutste boodskappe wat pas hou hou (itereer in omgekeerde volgorde), en {"kept", "dropped", "tokens"} met kept in chronologiese volgorde teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.