سرفصل‌ها درس 178 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

حسابداری توکن و هزینه

هزینه تماس با یک مدل پول واقعی است، و صورت‌حساب بر اساس ... محاسبه می‌شود. توکن‌ها، نه کاراکترها یا کلمات. توکن تقریباً تکه‌ای از چند کاراکتر است. تعداد دقیق از توکن‌ساز مدل استخراج می‌شود، اما برای بودجه‌بندی و داشبوردها یک قاعدهٔ کلی خوب این است که tokens ≈ characters / 4آن برآورد به اندازه کافی دقیق است تا هزینه‌ها را پیش‌بینی کنید، محدودیت‌های هر درخواست را تعیین کنید و هشداری را تشخیص دهید که قرار است بودجه‌تان را از حد بگذراند.

قیمت ارائه‌دهنده ورودی (prompt) توکن‌ها و خروجی توکن‌های (تکمیل) با نرخ‌های مختلف، که معمولاً به دلار برای هر یک میلیون توکن بیان می‌شوند. خروجی اغلب چندین برابر گران‌تر از ورودی است، بنابراین تقسیم‌بندی اهمیت دارد. هزینه یک تماس عبارت است از:

cost = (prompt_tokens / 1_000_000) * in_rate
     + (completion_tokens / 1_000_000) * out_rate

در یک اپلیکیشن واقعی، تعداد واقعی توکن‌ها را مستقیماً از پاسخ می‌خوانید. برای مثال، یک موتور WebLLM روی دستگاه پاسخ را این‌گونه بازمی‌گرداند:

const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens;  // exact count from the runtime

آن فراخوانی زنده صرفاً جنبهٔ نمایشی دارد. در اینجا لایهٔ حسابداری تعیین‌کننده‌ای را می‌سازید که پیرامون هر مدل قرار می‌گیرد: یک توکن برآوردگر و یک هزینه تابع بر روی یک جدول قیمت. این دو تابع هستند که هر داشبورد هزینه از آن‌ها تشکیل شده است.

دو تابع بسازید. estimate_tokens(text) یک برآورد توکن عددی را با استفاده از قاعده chars/4 بازمی‌گرداند (از تقسیم صحیح استفاده کنید، بنابراین "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) هزینه دلاری را با استفاده از فرمول بالا بازمی‌گرداند، جایی که نرخ‌ها دلار به ازای هر ۱٬۰۰۰٬۰۰۰ توکن هستند. هر دو را خالص و بدون عوارض جانبی نگه دارید.

نوبت شما

نوشتن estimate_tokens(text) که یک برآورد توکن عددی را بازمی‌گرداند (حدود len(text) // 4، بنابراین یک رشتهٔ خالی است 0) و estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) که هزینه دلاری را بازمی‌گرداند، جایی که in_rate و out_rate قیمت‌ها به‌ازای هر 1,000,000 توکن هستند. متن طولانی‌تر هرگز نباید تعداد توکن‌های کمتری تخمین بزند، و تعویض یک فراخوانی سنگین بر اساس پرسش با فراخوانی سنگین بر اساس تکمیل باید هنگام تفاوت نرخ‌ها هزینه را تغییر دهد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.