Prompt caching aan de providerzijde
De vorige les oversloeg het model wanneer een verzoek zich herhaalde. Deze les maakt het verzoek zelf goedkoper. De meeste providers bieden prompt caching aan: je markeert een stabiel prefix van je prompt, en bij de volgende aanroep die dit hergebruikt slaat de provider het opnieuw verwerken van die tokens over en factureert ze met een flinke korting. Het is een andere hendel dan de response cache die je net hebt gebouwd:
- Response cache (vorige les): het hele antwoord wordt hergebruikt, dus sla je de aanroep volledig over. Werkt alleen wanneer de question zich herhaalt.
- Prompt cache (deze les): de call vindt nog steeds plaats en je krijgt nog steeds een vers antwoord, maar de gedeelde prefix is goedkoper. Werkt zelfs als elke vraag anders is.
Wat hoort in de gecachte prefix? De grote, stabiele zaken die bij elke aanroep meereizen: een lange system prompt, tool definitions, few-shot examples, een retrieved document waarover je meerdere vragen zult stellen. Je zet het variabele deel (de eigenlijke gebruikersvraag) na het gecachte breakpoint. Bij Anthropic markeer je de grens met een cache_control block:
system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
"cache_control": {"type": "ephemeral"}}]De economie heeft drie tarieven, allemaal relatief aan de normale invoerprijs. Een cache write (de eerste aanroep, die de prefix opslaat) kost ongeveer 1.25x input. Een cache read (een latere aanroep die de opgeslagen prefix raakt) kost ongeveer 0.1x input. Een miss is gewoon 1x. De invoer blijft een paar minuten en de timer wordt bij elke hit ververstigd, dus een drukke prefix blijft warm. Drie praktische beperkingen: een prefix korter dan het minimum van het model (een paar honderd tot een paar duizend tokens, afhankelijk van het model) wordt stilzwijgend niet gecachet; de cache is een prefix match, dus het veranderen van een byte vroeg in de prompt (bijvoorbeeld een tijdstempel in de system prompt) maakt alles daarna ongeldig; en elke cache behoort tot één model, dus het wisselen van modellen begint koud. Controleer usage.cache_read_input_tokens op de respons om te zien of je daadwerkelijk hits kreeg. De break-even is snel: als een grote prefix zelfs maar een handvol keren wordt hergebruikt, wordt de eenmalige 1.25x write overschaduwd door het betalen van 0.1x in plaats van 1x bij elke hergebruik.
Je bouwt het kostenmodel dat beslist of het cachen van een prefix de moeite waard is.
Modelleer de economie. Prijzen zijn dollars per 1.000.000 tokens; gebruik 3.0 voor input en 15.0 voor output. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): elke call betaalt de volledige inputprijs op prefix_tokens + variable_tokens plus de outputprijs op output_tokens, vermenigvuldigd met calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): het prefix wordt één keer geschreven tegen de 1.25x inputprijs, en wordt daarna gelezen op de overige calls - 1 calls tegen de 0.1x inputprijs; de variabele tokens betalen altijd de volledige inputprijs, en output betaalt altijd de volledige outputprijs op elke call. Ga uit van calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) geeft True terug wanneer cached_cost strikt kleiner is dan uncached_cost. Geef simpele floats (dollars) terug.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.