دستیار را ارزیابی کنید (P@k + دقت پاسخ + گیت)
این درسی است که نیمی از دوم خط رزومهتان را به خود اختصاص میدهد: و ارزیابی شدهر کسی میتواند یک دمو RAG را راهاندازی کند. چیزی که یک تازهکار را از کسی که برای نقش دستیار تولید استخدام میکنید جدا میکند، توانایی در … است. اندازه آن و به از ارسال یک تغییر بد جلوگیری کنیدشما هارنس ارزیابی و گیت رگرسیون را خواهید ساخت.
شما در برابر یک ارزیابی میکنید مجموعه طلایییک فهرست کوچک برچسبخورده که در هر مورد شامل یک پرسش، شناسههای مقالات مرتبط و متن پاسخ مورد انتظار است. دو خانواده از معیارها:
- کیفیت بازیابی --
precision_at_kاز میان k شناسهٔ برتر که رتریور شما بازگردانده است، چه نسبتی مرتبط هستند. این به شما میگوید که آیا ربات اصلاً به مقالات درست نگاه میکند یا خیر. - کیفیت پاسخ -- دقت پاسخ تولیدشده در مقایسه با متن مورد انتظار، در دو حالت:
contains(قطعه کد مورد انتظار در پاسخ ظاهر میشود، بدون حساسیت به حروف بزرگ و کوچک) وexact(یک تطابق دقیق بریدهشده)containsآیا آن بخشنده و واقعبین برای پاسخهای متن آزاد است؟
اینها را بسازید:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedدقت در k: کسری از اول k شناسه های بازیابی شده که در مجموعه مربوطه قرار دارند؛ 0.0 برای بازیابی خالی دقت پاسخ: 1.0 یا 0.0 برای یک پیشبینی، با رعایت حالت.
ارزیابی(پیکربندی) آن را به هم پیوند میدهد. config dict حمل میکند gold فهرست، یک retriever تابع (پرسوجو -> شناسههای رتبهبندیشده)، یک answerer تابع (پرسوجو -> متن)، و تنظیمات k و modeتمام موارد طلایی را اجرا کنید و یک دیکشنری با حداقل n (موارد امتیازدهی شده) precision_at_k (میانگین بر حسب موارد، گرد شده به ۴ رقم اعشاری)، و answer_accuracy (میانگین، گرد شده به 4). یک مجموعه طلای خالی نباید کرش کند -- صفرها را بازگردانید.
دروازهٔ رگرسیون(قدیم، جدید) آیا گارد CI است که آن را به یک درخواست کشش (pull request) متصل میکنید؟: بازگردانید True فقط در صورتی که اجرای جدید در معیار گیتشده بدتر نشده باشد (answer_accuracy به طور پیشفرض) -- برابر یا بهتر کافی است، یک افت بازمیگردد False. این همان چیزی است که در دنیای واقعی مانع از آن میشود که یک تغییر سریع بیسروصدا کیفیت را نابود کند. فشار دهید دوندن برای ثبت یک ربات بینقص و یک ربات خراب و تماشای اینکه چگونه مانع، رگرسیون را متوقف میکند.
هارنس ارزیابی را بر روی یک مجموعه طلایی برچسبخورده بسازید. precision_at_k(retrieved, relevant, k) برای بازیابی و answer_accuracy(predicted, expected, mode) (contains / exact) برای پاسخها. evaluate(config) اجرای مجموعه طلایی (با retriever و answerer تابعها، k, mode) و یک دیکشنری متریک از میانگینها را بازمیگرداند (n, precision_at_k, answer_accuracy)، امن-خالی. regression_gate(old, new) بازمیگرداند True فقط در صورتی که دقت پاسخ کاهش نیافته باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.