Müfredat 250 dersinden 181. · LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri
LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri

Sağlayıcı tarafı istem istem önbelleğe alma

Geçen ders, bir istek tekrarlandığında modeli atlıyordu. Bu ders ise isteğin kendisini ucuzlatıyor. Çoğu sağlayıcı prompt caching sunuyor: isteminin sabit bir ön ekini işaretlersin ve onu tekrar kullanan bir sonraki çağrıda sağlayıcı bu tokenları tekrar işlemeyi atlar ve onları büyük bir indirimle faturalandırır. Bu, az önce oluşturduğun yanıt önbelleğinden farklı bir kaldıraçtır:

  • Response cache (son ders): tüm cevap tekrar kullanılır, bu yüzden çağrıyı tamamen atlıyorsun. Sadece question tekrar ettiğinde çalışır.
  • Prompt cache (bu ders): çağrı hala gerçekleşir ve hala taze bir cevap alırsın, ama paylaşılan prefix daha ucuzdur. Her soru farklı olsa bile çalışır.

Önbelleğe alınan ön ekte neler olmalı? Her çağrıda beraber gelen büyük ve sabit şeyler: uzun bir sistem istemi, araç tanımlamaları, birkaç örnek, üzerinde birkaç soru soracağın bir belge. Değişken kısmı (asıl kullanıcı sorusu) after önbelleğe alınan noktadan koyarsın. Anthropic ile sınırı bir cache_control bloğu ile işaretlersin:

system=[{"type": "text", "text": LONG_SYSTEM_PROMPT,
         "cache_control": {"type": "ephemeral"}}]

Ekonominin üç oranı var, hepsi normal giriş fiyatına göre. Bir write (ön eki depolayan ilk çağrı) yaklaşık 1.25x giriş maliyeti tutar. Bir read (depolanan öne çıkan öneki yakalayan sonraki çağrı) yaklaşık 0.1x giriş maliyeti tutar. Bir kaçış sadece 1x. Giriş birkaç dakika yaşar ve zamanlayıcısı her yakalamada yenilenir, bu yüzden yoğun bir ön ek sıcak kalır. Üç pratik sınır: modelin minimumünden (modele bağlı olarak birkaç yüz ila birkaç bin token) daha kısa bir ön ek sessizce önbelleğe alınmaz; önbellek bir ön ek eşleşmesidir, bu yüzden istemin başındaki herhangi bir baytı değiştirmek (örneğin sistem istemindeki bir zaman damgası) sonrasındaki her şeyi geçersiz kılar; ve her önbellek bir modele aittir, bu yüzden modeller arası geçiş soğuk başlar. Gerçekten yakalamalar alıp almadığını görmek için yanıta usage.cache_read_input_tokens kontrol et. Başabaş noktası hızlıdır: büyük bir ön ek birkaç kez bile tekrar kullanılırsa, tek seferlik 1.25x yazma, her tekrar kullanımında 1x yerine 0.1x ödemek yanında küçük kalır.

Bir ön eki önbelleğe almanın karlı olup olmadığına karar veren maliyet modelini oluşturacaksın.

Senin sıran

Ekonomiyi modelle. Fiyatlar 1.000.000 token başına dolardır; girdi için 3.0 ve çıktı için 15.0 kullan. (1) uncached_cost(prefix_tokens, variable_tokens, output_tokens, calls): her çağrı prefix_tokens + variable_tokens üzerinde tam girdi fiyatı artı output_tokens üzerinde çıktı fiyatı öder, calls ile çarpılır. (2) cached_cost(prefix_tokens, variable_tokens, output_tokens, calls): ön ek 1.25x girdi fiyatıyla bir kez yazılır, sonra kalan calls - 1 çağrısında 0.1x girdi fiyatıyla okunur; değişken tokenlar her zaman tam girdi fiyatı öder ve çıktı her çağrıda her zaman tam çıktı fiyatı öder. calls >= 1 varsay. (3) caching_saves(prefix_tokens, variable_tokens, output_tokens, calls), cached_cost kesinlikle uncached_cost değerinden küçük olduğunda True döndürür. Düz float değerleri (dolar) döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.