المنهج الدراسي الدرس 178 من 250 · تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية
تحويل نماذج اللغات الكبيرة إلى بيئة الإنتاج: التكلفة، والتخزين المؤقت، وحواجز الحماية

محاسبة الرموز والتكلفة

تكلفة استدعاء نموذج

A هي مال حقيقي، ويتم قياس الفاتورة بـ tokens، وليس بالحروف أو الكلمات. الـ token هو تقريبًا قطعة من بضعة حروف. يأتي العدد الدقيق من tokenizer الخاص بالنموذج، ولكن من أجل الميزانية ولوحات البيانات، فإن قاعدة جيدة هي tokens ≈ characters / 4. هذا التقدير قريب بما يكفي للتنبؤ بالإنفاق، ووضع حدود لكل طلب، واكتشاف prompt على وشك أن يتجاوز ميزانيتك.

تحدد

Providers أسعار input (prompt) tokens و output (completion) tokens بمعدلات مختلفة، وعادة ما يتم تسعيرها بالدولار لكل 1,000,000 token. غالباً ما يكون الـ Output أغلى بعدة مرات من الـ input، لذا فإن التقسيم مهم. تكلفة استدعاء واحد هي:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

في تطبيق حقيقي ستقوم بقراءة العدد الحقيقي للرموز مباشرة من الاستجابة. على سبيل المثال، يقوم محرك WebLLM على الجهاز بإرجاعه مع الرد:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

هذا الاتصال المباشر هو للتوضيح فقط. هنا تقوم ببناء طبقة المحاسبة الحتمية التي تحيط بأي نموذج: تقدير estimator و دالة cost فوق جدول أسعار. هاتان هما الدالتان اللتان تتكون منهما كل لوحة بيانات للتكلفة.

قم ببناء دالتين. estimate_tokens(text) تعيد تقديراً لعدد الرموز كعدد صحيح باستخدام قاعدة chars/4 (استخدم القسمة الصحيحة، لذا "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) تعيد التكلفة بالدولار باستخدام الصيغة أعلاه، حيث تمثل الأسعار الدولار لكل 1,000,000 رمز. اجعل كلتيهما نقيتين وخاليتين من الآثار الجانبية.

دورك

اكتب estimate_tokens(text) الذي يعيد تقديراً لعدد الرموز كعدد صحيح (حوالي len(text) // 4، لذا فإن السلسلة الفارغة هي 0) و estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) الذي يعيد التكلفة بالدولار، حيث in_rate و out_rate هما السعر لكل 1,000,000 رمز. يجب ألا يقدر النص الأطول من بين نصين عدداً أقل من الرموز أبداً، ويجب أن يتغير التكلفة عند استبدال استدعاء يركز على prompt باستدعاء يركز على completion عندما تختلف المعدلان.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.