محاسبة الرموز والتكلفة
A هي مال حقيقي، ويتم قياس الفاتورة بـ tokens، وليس بالحروف أو الكلمات. الـ token هو تقريبًا قطعة من بضعة حروف. يأتي العدد الدقيق من tokenizer الخاص بالنموذج، ولكن من أجل الميزانية ولوحات البيانات، فإن قاعدة جيدة هي tokens ≈ characters / 4. هذا التقدير قريب بما يكفي للتنبؤ بالإنفاق، ووضع حدود لكل طلب، واكتشاف prompt على وشك أن يتجاوز ميزانيتك.
Providers أسعار input (prompt) tokens و output (completion) tokens بمعدلات مختلفة، وعادة ما يتم تسعيرها بالدولار لكل 1,000,000 token. غالباً ما يكون الـ Output أغلى بعدة مرات من الـ input، لذا فإن التقسيم مهم. تكلفة استدعاء واحد هي:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateفي تطبيق حقيقي ستقوم بقراءة العدد الحقيقي للرموز مباشرة من الاستجابة. على سبيل المثال، يقوم محرك WebLLM على الجهاز بإرجاعه مع الرد:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeهذا الاتصال المباشر هو للتوضيح فقط. هنا تقوم ببناء طبقة المحاسبة الحتمية التي تحيط بأي نموذج: تقدير estimator و دالة cost فوق جدول أسعار. هاتان هما الدالتان اللتان تتكون منهما كل لوحة بيانات للتكلفة.
قم ببناء دالتين. estimate_tokens(text) تعيد تقديراً لعدد الرموز كعدد صحيح باستخدام قاعدة chars/4 (استخدم القسمة الصحيحة، لذا "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) تعيد التكلفة بالدولار باستخدام الصيغة أعلاه، حيث تمثل الأسعار الدولار لكل 1,000,000 رمز. اجعل كلتيهما نقيتين وخاليتين من الآثار الجانبية.
اكتب estimate_tokens(text) الذي يعيد تقديراً لعدد الرموز كعدد صحيح (حوالي len(text) // 4، لذا فإن السلسلة الفارغة هي 0) و estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) الذي يعيد التكلفة بالدولار، حيث in_rate و out_rate هما السعر لكل 1,000,000 رمز. يجب ألا يقدر النص الأطول من بين نصين عدداً أقل من الرموز أبداً، ويجب أن يتغير التكلفة عند استبدال استدعاء يركز على prompt باستدعاء يركز على completion عندما تختلف المعدلان.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.