Kurrikulum Leson 132 van 250 · Prompt Engineering vir KI-ingenieurs
Prompt Engineering vir KI-ingenieurs

Konteks en Token-begroting

Elke model het 'n eindige context window, en jy betaal per token. Wanneer 'n gesprek oor die begrooting groei, kan jy nie alles stuur nie, so besluit jy wat om te hou. Die standaardbeleid: hou die system prompt (dit stel die reëls) plus die mees onlangse boodskappe wat nog pas, en verwyder die oudstes.

Jy gaan 'n eenvoudige begrotingsprogram bou. Eers, 'n ruwe token-skatting: werklike tokenizers is model-spesifiek, maar 'n goeie aflyn-benadering is ongeveer 4 karakters per token. estimate_tokens(text) gee terug len(text) // 4 (en 0 vir leë teks, ten minste 1 vir enige nie-leë teks).

Dan fit_context(system, messages, budget) besluit wat oorleef:

  • Die stelselprompt word eerste getel en altyd behou.
  • Loop deur die boodskappe van nuutste tot oudste, hou elke een waarvan die tokens nog binne die begroting pas; stop wanneer die volgende een oorloop.
  • Gee {"kept": [...], "dropped": n, "tokens": total} met kept herstel tot chronologiese volgorde.
# three 10-token messages, budget 20, no system
fit_context("", [m1, m2, m3], 20)
# {"kept": [m2, m3], "dropped": 1, "tokens": 20}   # newest two survive

Die twee subtiele dinge wat die grader nagaan: 'n strenger begroting hou minder (en die regte) boodskappe, en 'n nie-leë system prompt gebruik deel van die begroting sodat minder boodskappe pas. Itereer in omgekeerde volgorde om die nuutste eerste te kies, en draai dan die behoude lys terug sodat die gesprek in volgorde lees. Druk Run om te gradeer.

Jou beurt

Skryf estimate_tokens(text) wat len(text) // 4 teruggee (0 vir leeg, ten minste 1 vir nie-leeg). Skryf fit_context(system, messages, budget) wat die stelsel eerste tel, die nuutste boodskappe wat pas hou hou (itereer in omgekeerde volgorde), en {"kept", "dropped", "tokens"} met kept in chronologiese volgorde teruggee.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.