Programme Leçon 181 sur 250 · Mettre les LLM en production : coût, cache et garde-fous
Mettre les LLM en production : coût, cache et garde-fous

Le cache de prompt côté fournisseur

La leçon précédente évitait le modèle quand une requête se répétait. Celle-ci rend la requête elle-même moins chère. La plupart des fournisseurs proposent le cache de prompt : tu marques un préfixe stable de ton prompt, et au prochain appel qui le réutilise, le fournisseur évite de retraiter ces tokens et les facture avec une forte remise. C'est un levier différent du cache de réponses que tu viens de construire :

  • Cache de réponses (leçon précédente) : toute la réponse est réutilisée, donc tu sautes complètement l'appel. Ne marche que quand la question se répète.
  • Cache de prompt (cette leçon) : l'appel a quand même lieu et tu obtiens une réponse neuve, mais le préfixe partagé coûte moins cher. Marche même quand chaque question est différente.

Qu'est-ce qui va dans le préfixe en cache ? Les gros éléments stables qui accompagnent chaque appel : un long prompt système, des définitions d'outils, des exemples few-shot, un document récupéré sur lequel tu poseras plusieurs questions. Tu mets la partie variable (la vraie question de l'utilisateur) après le point de coupure du cache. Avec Anthropic, tu marques la limite avec un bloc cache_control :

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

L'économie repose sur trois tarifs, tous relatifs au prix normal d'entrée. Une écriture en cache (le premier appel, qui stocke le préfixe) coûte environ 1.25x le prix d'entrée. Une lecture en cache (un appel suivant qui retrouve le préfixe stocké) coûte environ 0.1x. Un échec coûte juste 1x. L'entrée vit quelques minutes et son minuteur repart à chaque succès, donc un préfixe très utilisé reste chaud. Trois limites pratiques : un préfixe plus court que le minimum du modèle (de quelques centaines à quelques milliers de tokens selon le modèle) n'est pas mis en cache, sans prévenir ; le cache fonctionne par correspondance de préfixe, donc changer un seul octet au début du prompt (une date et heure dans le prompt système, par exemple) invalide tout ce qui suit ; et chaque cache appartient à un modèle, donc changer de modèle repart à froid. Regarde usage.cache_read_input_tokens dans la réponse pour savoir si tu as vraiment eu des succès. Le seuil de rentabilité arrive vite : si un gros préfixe est réutilisé ne serait-ce qu'une poignée de fois, l'écriture unique à 1.25x est écrasée par le fait de payer 0.1x au lieu de 1x à chaque réutilisation.

Tu vas construire le modèle de coût qui décide si mettre un préfixe en cache est rentable.

À ton tour

Modélise l'économie. Les prix sont en dollars par million de tokens ; utilise 3.0 pour l'entrée et 15.0 pour la sortie. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls) : chaque appel paie le plein prix d'entrée sur prefix_tokens + variable_tokens plus le prix de sortie sur output_tokens, fois calls. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls) : le préfixe est écrit une fois à 1.25x le prix d'entrée, puis lu sur les calls - 1 appels restants à 0.1x le prix d'entrée ; les tokens variables paient toujours le plein prix d'entrée, et la sortie paie toujours le plein prix de sortie à chaque appel. Suppose calls >= 1. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls) renvoie True quand cached_cost est strictement inférieur à uncached_cost. Renvoie de simples floats (en dollars).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.