Provider-kant aanvraagverwerking-verberbering
Die vorige les het die model weggela wanneer 'n versoek herhaal is. Hierdie een maak die versoek self goedkoper. Die meeste verskaffers bied prompt cachingaan: jy merk 'n stabiele prefiks van jou prompt, en by die volgende oproep wat dit hergebruik, laat die verskaffer die herverwerking van daardie tokens weg en faktureer hulle teen 'n groot afslag. Dit is 'n ander hefboom as die response cache wat jy nou net gebou het:
- Response cache (laaste les): die hele antwoord word hergebruik, so jy skip die call heeltemal. Werk net wanneer die question herhaal.
- Prompt cache (hierdie les): die aanroep gebeur steeds en jy kry steeds 'n vars antwoord, maar die gedeelde prefix is goedkoper. Werk selfs wanneer elke vraag verskil.
Wat behoort in die gekasheerde prefiks? Die groot, stabiele dinge wat saam met elke oproep ry: 'n lang stelselprompt, tool definisies, few-shot voorbeelde, 'n ingehaal dokument waaroor jy verskeie vrae sal vra. Jy sit die veranderlike deel (die werklike gebruikersvraag) na die gekasheerde breekpunt. Met Anthropic merk jy die grens met 'n cache_control blok:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]Die ekonomie het drie koerse, almal relatief tot die normale inputprys. 'n Cache write (die eerste oproep wat die prefiks stoor) kos ongeveer 1.25x input. 'n Cache read ('n latere oproep wat die gestoorde prefiks tref) kos ongeveer 0.1x input. 'n Miss is net 1x. Die inskrywing leef vir 'n paar minute en die timer verfris by elke tref, so 'n besige prefiks bly warm. Drie praktiese beperkings: 'n prefiks korter as die model se minimum ('n paar honderd tot 'n paar duisend tokens, afhangende van die model) word stil nie gekas nie; die cache is 'n prefiks-pas, so as jy enige byte vroeg in die prompt verander (bv. 'n tydstempel in die stelselprompt) verval alles daarna; en elke cache behoort aan een model, so om modelle te verander begin koud. Kontroleer usage.cache_read_input_tokens op die respons om te sien of jy werklik tref. Die breekpunt is vinnig: as 'n groot prefiks selfs net 'n paar keer hergebruik word, word die eenmalige 1.25x write oorskadu deur om 0.1x in plaas van 1x by elke hergebruik te betaal.
Jy gaan die kostemodel bou wat besluit of dit loont om 'n prefix te cache.
Modelleer die ekonomie. Pryse is dollars per 1,000,000 tokens; gebruik 3.0 vir input en 15.0 vir output. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): elke oproep betaal volle inputprys op prefix_tokens + variable_tokens plus outputprys op output_tokens, vermenigvuldig met calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): die prefiks word een keer geskryf teen 1.25x inputprys, dan gelees op die oorblywende calls - 1 oproepe teen 0.1x inputprys; die variable tokens betaal altyd volle inputprys, en output betaal altyd volle outputprys op elke oproep. Aanvaar calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) gee True terug wanneer cached_cost streng minder as uncached_cost is. Gee eenvoudige floats (dollars) terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.