سرفصل‌ها درس 216 از 250 · پروژه: دستیار مشتری
پروژه: دستیار مشتری

دستیار را ارزیابی کنید (P@k + دقت پاسخ + گیت)

این درسی است که نیمی از دوم خط رزومه‌تان را به خود اختصاص می‌دهد: و ارزیابی شدهر کسی می‌تواند یک دمو RAG را راه‌اندازی کند. چیزی که یک تازه‌کار را از کسی که برای نقش دستیار تولید استخدام می‌کنید جدا می‌کند، توانایی در … است. اندازه آن و به از ارسال یک تغییر بد جلوگیری کنیدشما هارنس ارزیابی و گیت رگرسیون را خواهید ساخت.

شما در برابر یک ارزیابی می‌کنید مجموعه طلایییک فهرست کوچک برچسب‌خورده که در هر مورد شامل یک پرسش، شناسه‌های مقالات مرتبط و متن پاسخ مورد انتظار است. دو خانواده از معیارها:

  • کیفیت بازیابی -- precision_at_kاز میان k شناسهٔ برتر که رتریور شما بازگردانده است، چه نسبتی مرتبط هستند. این به شما می‌گوید که آیا ربات اصلاً به مقالات درست نگاه می‌کند یا خیر.
  • کیفیت پاسخ -- دقت پاسخ تولیدشده در مقایسه با متن مورد انتظار، در دو حالت: contains (قطعه کد مورد انتظار در پاسخ ظاهر می‌شود، بدون حساسیت به حروف بزرگ و کوچک) و exact (یک تطابق دقیق بریده‌شده) contains آیا آن بخشنده و واقع‌بین برای پاسخ‌های متن آزاد است؟

این‌ها را بسازید:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

دقت در k: کسری از اول k شناسه های بازیابی شده که در مجموعه مربوطه قرار دارند؛ 0.0 برای بازیابی خالی دقت پاسخ: 1.0 یا 0.0 برای یک پیش‌بینی، با رعایت حالت.

ارزیابی(پیکربندی) آن را به هم پیوند می‌دهد. config dict حمل می‌کند gold فهرست، یک retriever تابع (پرس‌وجو -> شناسه‌های رتبه‌بندی‌شده)، یک answerer تابع (پرس‌وجو -> متن)، و تنظیمات k و modeتمام موارد طلایی را اجرا کنید و یک دیکشنری با حداقل n (موارد امتیازدهی شده) precision_at_k (میانگین بر حسب موارد، گرد شده به ۴ رقم اعشاری)، و answer_accuracy (میانگین، گرد شده به 4). یک مجموعه طلای خالی نباید کرش کند -- صفرها را بازگردانید.

دروازهٔ رگرسیون(قدیم، جدید) آیا گارد CI است که آن را به یک درخواست کشش (pull request) متصل می‌کنید؟: بازگردانید True فقط در صورتی که اجرای جدید در معیار گیت‌شده بدتر نشده باشد (answer_accuracy به طور پیش‌فرض) -- برابر یا بهتر کافی است، یک افت بازمی‌گردد False. این همان چیزی است که در دنیای واقعی مانع از آن می‌شود که یک تغییر سریع بی‌سروصدا کیفیت را نابود کند. فشار دهید دوندن برای ثبت یک ربات بی‌نقص و یک ربات خراب و تماشای اینکه چگونه مانع، رگرسیون را متوقف می‌کند.

نوبت شما

هارنس ارزیابی را بر روی یک مجموعه طلایی برچسب‌خورده بسازید. precision_at_k(retrieved, relevant, k) برای بازیابی و answer_accuracy(predicted, expected, mode) (contains / exact) برای پاسخ‌ها. evaluate(config) اجرای مجموعه طلایی (با retriever و answerer تابع‌ها، k, mode) و یک دیکشنری متریک از میانگین‌ها را بازمی‌گرداند (n, precision_at_k, answer_accuracy)، امن-خالی. regression_gate(old, new) بازمی‌گرداند True فقط در صورتی که دقت پاسخ کاهش نیافته باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.