سرفصل‌ها درس 183 از 250 · عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها
عملیاتی‌سازی LLMها: هزینه، کشینگ و محدودیت‌ها

محافظ‌های خروجی و تجمیع ردیابی

پاسخ مدل تا زمانی که آن را بررسی نکنید قابل‌اعتماد نیست. دو گارد خروجی بیشتر نیازها را پوشش می‌دهند. یک گارد لیست مجاز اصرار دارد که خروجی دقیقاً یکی از یک مجموعهٔ شناخته‌شده باشد، که این روش قابل‌اعتماد کردن یک طبقه‌بندی‌کننده است: اگر مدل قرار است پاسخ دهد positive, negative، یا neutral، هر چیز دیگری رد می‌شود. یک گارد لیست-ممنوعه هر خروجی حاوی یک واژه ممنوعه (یک راز فاش‌شده، یک توهین، نام یک رقیب) را بدون توجه به متن اطرافش علامت‌گذاری می‌کند.

سیستم‌های تولید نیز به قابلیت ردیابی نیاز دارند: هر فراخوانی به همراه ورودی، خروجی، تعداد توکن‌ها، تأخیر و هزینه آن ضبط می‌شود، تا بتوانید پس از وقوع رویداد به این سؤال پاسخ دهید: «هزینه این کار چقدر بود و چقدر کند بود؟». شما آن سوابق را در یک خلاصه تجمیع می‌کنید: هزینه کل و صدک‌های تأخیر. صدک ۹۵ تأخیر (مقداری که ۹۵٪ تماس‌ها کمتر از آن طول کشیده‌اند) عددی است که مهندسان در شیفت کاری واقعاً به آن توجه می‌کنند، زیرا میانگین‌ها انتهای کند را پنهان می‌کنند.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

چهار تابع بسازید. (۱) validate_output(text, allowed_labels) -> True فقط در صورتی که text.strip() در allowed_labels. (۲) contains_banned(text, banned) -> True اگر هر واژهٔ ممنوعه در text بدون توجه به تفاوت حروف بزرگ و کوچک. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> یک دیکشنری با دقیقاً همان پنج کلید. (4) aggregate_traces(traces) -> ساخت یک pandas.DataFrame از دیکت‌های ردیابی و بازگرداندن یک دیکت با n, total_cost (گرد شده به 6 dp)، p50_latency، و p95_latency محاسبه شده با numpy.percentile.

نوبت شما

ساخت validate_output(text, allowed_labels) (فقط زمانی درست است که text.strip() یک برچسب مجاز است)، contains_banned(text, banned) (وقتی هر واژهٔ ممنوعه ظاهر شود، بدون توجه به حروف بزرگ/کوچک)، build_trace(input_text, output_text, tokens, latency_ms, cost) (یک dict با آن پنج کلید)، و aggregate_traces(traces) (یک DataFrame در pandas که خلاصه شده به {n, total_cost (round 6dp), p50_latency, p95_latency} از طریق numpy.percentile). یک برچسب مجاز باید عبور کند در حالی که یک برچسب غیرمجاز مسدود می‌کند، و دو فهرست ممنوعهٔ متفاوت باید نتایج متفاوتی بدهند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.