Programma Lezione 181 di 250 · Portare gli LLM in produzione: costi, cache e protezioni
Portare gli LLM in produzione: costi, cache e protezioni

Cache del prompt lato fornitore

La lezione precedente saltava il modello quando una richiesta si ripeteva. Questa rende più economica la richiesta stessa. La maggior parte dei fornitori offre la cache del prompt (prompt caching): segni un prefisso stabile del tuo prompt, e alla chiamata successiva che lo riusa il fornitore salta la rielaborazione di quei token e li fattura con un forte sconto. È una leva diversa dalla cache delle risposte che hai appena costruito:

  • Cache delle risposte (lezione precedente): l'intera risposta viene riusata, quindi salti del tutto la chiamata. Funziona solo quando la domanda si ripete.
  • Cache del prompt (questa lezione): la chiamata avviene comunque e ricevi comunque una risposta nuova, ma il prefisso condiviso costa meno. Funziona anche quando ogni domanda è diversa.

Che cosa va nel prefisso in cache? La roba grande e stabile che viaggia con ogni chiamata: un lungo prompt di sistema, le definizioni degli strumenti, gli esempi few-shot, un documento recuperato su cui farai diverse domande. La parte variabile (la vera domanda dell'utente) la metti dopo il punto di interruzione della cache. Con Anthropic segni il confine con un blocco cache_control:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

L'economia ha tre tariffe, tutte rispetto al normale prezzo di input. Una scrittura in cache (la prima chiamata, che salva il prefisso) costa circa 1.25x l'input. Una lettura dalla cache (una chiamata successiva che trova il prefisso salvato) costa circa 0.1x l'input. Un buco è semplicemente 1x. La voce vive per qualche minuto e il suo timer si rinnova a ogni successo, quindi un prefisso molto usato resta caldo. Tre limiti pratici: un prefisso più corto del minimo del modello (da qualche centinaio a qualche migliaio di token, a seconda del modello) in silenzio non viene messo in cache; la cache è una corrispondenza di prefisso, quindi cambiare un qualsiasi byte all'inizio del prompt (un timestamp nel prompt di sistema, per esempio) invalida tutto ciò che viene dopo; e ogni cache appartiene a un solo modello, quindi cambiare modello riparte da freddo. Controlla usage.cache_read_input_tokens nella risposta per vedere se hai davvero avuto successi. Il pareggio arriva presto: se un grande prefisso viene riusato anche solo una manciata di volte, la scrittura una tantum a 1.25x è schiacciata dal pagare 0.1x invece di 1x a ogni riuso.

Costruirai il modello di costo che decide se mettere in cache un prefisso conviene.

Tocca a te

Modella l'economia. I prezzi sono dollari per 1.000.000 di token; usa 3.0 per l'input e 15.0 per l'output. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): ogni chiamata paga il prezzo pieno di input su prefix_tokens + variable_tokens più il prezzo di output su output_tokens, per calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): il prefisso viene scritto una volta a 1.25x il prezzo di input, poi letto nelle restanti calls - 1 chiamate a 0.1x il prezzo di input; i token variabili pagano sempre il prezzo pieno di input, e l'output paga sempre il prezzo pieno di output a ogni chiamata. Assumi calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) restituisce True quando cached_cost è strettamente minore di uncached_cost. Restituisci semplici float (dollari).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.