آبشار آگاه به هزینه
این نکتهٔ اصلی کل ماژول است. یک فراخوانی تولیدکنندگی LLM کند است و هزینهٔ واقعی دارد؛ در حالی که یک طبقهبند متناسب تقریباً هیچ هزینهای ندارد. بنابراین شما به صورت آبشاری عمل میکنید: اجازه میدهید مدل ارزانقیمت اکثریت ترافیک با اطمینان بالا را مدیریت کند و فقط بخش نامطمئن را به LLM گرانقیمت ارجاع میدهید. اگر این کار به درستی انجام شود، همان کیفیت را با کسری از هزینه ارائه میدهید.
تصمیم همان آستانهگذاری است که قبلاً ساختهاید: برای هر درخواست، سطر احتمال مدل ارزانقیمت را دارید. اگر بالاترین احتمال آن از یک آستانه اطمینان عبور کند، با هزینه کم پاسخ دهید؛ در غیر این صورت، درخواست را به LLM گرانقیمت ارجاع دهید. سؤال مهندسی که رئیستان واقعاً میپرسد این است که این کار چقدر صرفهجویی میکند؟، بنابراین شما ارجاعات و هزینه را نیز میشمارید.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMساخت cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). برای هر ردیف احتمال، اگر max(row) >= threshold به صورت ارزان رسیدگی میشود (هزینهاش cheap_cost); در غیر این صورت به سطح بالاتر ارجاع داده میشود (هزینهاش llm_cost). بازگردانید {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} که all_llm_cost هزینهای است که ارسال هر درخواست به LLM میداشت، و saved = all_llm_cost - total_cost. یک ورودی خالی هیچچیز را تشدید نمیکند و هیچ هزینهای ندارد. برای قیمتگذاری یک دسته ترافیک، روی Run کلیک کنید.
نوشتن cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). برای هر سطر، اگر max(row) >= threshold به صورت ارزان رسیدگی میشود (هزینه cheap_cost)، در غیر این صورت به سطح بالاتر ارجاع داده میشود (هزینه llm_cost). بازگردانید {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}: escalated آیا شمارش بالا رفته است، escalation_rate است escalated/len (برای خالی 0.0)، total_cost هزینهٔ جمعشده برای هر درخواست است، all_llm_cost = len(prob_rows) * llm_cost، و saved = all_llm_cost - total_cost.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.