Kurrikulum Leson 179 van 250 · Produksie van LLMs: Kostes, Keshing en Bewaakhekings
Produksie van LLMs: Kostes, Keshing en Bewaakhekings

Konteksvenster-begrotingsmaker

Elke model het 'n eindige context window: die meeste tokens wat dit in een oproep kan lees. 'n Lang gesprekstorie oorloop uiteindelik die venster, en die oproep fout of word stilweg verkort. Die produksie-oplossing is 'n budgeter wat die gesprek sny voordat jy dit stuur.

Die standaardbeleid is eenvoudig en getoets: hou altyd die system message (dit bevat die instruksies en persona wat nooit weggelaat mag word), en verwyder dan die oudste gewone beurte een na een totdat die loopende token-skatting by die begroting pas. Onlangse beurte is die belangrikste vir koherensie, so hulle is die laaste om te gaan.

Boodskappe lyk soos die bekende kletsformaat:

[
  {"role": "system",    "content": "You are a careful assistant."},
  {"role": "user",      "content": "What is the capital of France?"},
  {"role": "assistant", "content": "The capital of France is Paris."},
  {"role": "user",      "content": "And of Spain?"}
]

Jy het reeds 'n token-skatser (chars/4) uit die vorige les; dit word hier vir jou verskaf as estimate_tokens. Som dit oor die content van elke behoue boodskap om die lopende totaal te kry.

Bou fit_to_budget(messages, max_tokens). Gee 'n nuwe lys boodskappe terug, in die oorspronklike volgorde, sodat: die stelselboodskappe altyd behou word; die totale beraamde tokens van die behoude boodskappe is <= max_tokens wanneer weglatting moontlik is; en wanneer jy moet weglaat, wees die oudste nie-stelselboodskappe eerste uit. 'n Voldoende begroting hou alles. Moenie die input lys verander nie.

Jou beurt

Skryf fit_to_budget(messages, max_tokens) wat die behoude boodskappe in oorspronklike volgorde teruggee. Hou elke stelselboodskap. Verwyder die oudste nie-stelselboodskappe een vir een totdat die totale beraamde token-telling (som van estimate_tokens oor elke content) <= max_tokens is. 'n Voldoende begroting verwyder niks nie; twee verskillende begrotings moet verskillende stelle behou, en die nuutste beurte oorleef ouer eenes.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.