Token ve Maliyet Muhasebesi
A model çağrısı gerçek para maliyeti taşır ve fatura karakter veya kelime değil, tokens üzerinden ölçülür. Bir token yaklaşık olarak birkaç karakterlik bir parçadır. Kesin sayı modelin tokenizer kısmından gelir ama bütçeleme ve paneller için tokens ≈ characters / 4 iyi bir kuraldır. Bu tahmin harcamayı öngörmek, istek başına limitler koymak ve bütçeni patlamak üzere olan bir promptu fark etmek için yeterince yakındır.
Sağlayıcılar input (prompt) tokenlarını ve output (completion) tokenlarını farklı oranlarda fiyatlandırır, genellikle 1.000.000 token başına dolar olarak belirtilir. Çıktı genellikle girdiden birkaç kat daha pahalıdır, bu yüzden ayrım önemlidir. Bir çağrının maliyeti şudur:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateGerçek bir uygulamada gerçek token sayısını doğrudan yanıttan okursun. Örneğin, cihaz üzerindeki bir WebLLM motoru bunu yanıtla birlikte geri gönderir:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeO canlı görüşme sadece örnektir. Burada herhangi bir modelin etrafında duran deterministik muhasebe katmanını oluşturuyorsun: bir token estimator ve bir fiyat tablosu üzerinde çalışan bir cost fonksiyonu. Bunlar her maliyet panelinin oluştuğu iki fonksiyondur.
İki fonksiyon oluştur. estimate_tokens(text) chars/4 kuralını kullanarak bir tam sayı token tahmini döndürür (tam sayı bölmesi kullan, yani "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) yukarıdaki formülü kullanarak dolar maliyetini döndürür, burada oranlar 1.000.000 token başına dolardır. Her ikisinin de saf ve yan etkisiz olduğundan emin ol.
estimate_tokens(text) yaz, bir tam sayı token tahmini döndürsün (yaklaşık len(text) // 4, yani boş bir dize 0) ve in_rate ile out_rate birim 1.000.000 token fiyatı olduğunda dolar maliyetini döndüren estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) yaz. İki metinden uzun olanı asla daha az token tahmin etmemeli ve iki oran farklıyken prompt ağırlıklı bir çağrıyı completion ağırlıklı bir çağrıyla değiştirmek maliyeti değiştirmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.