راهبند امتناع خارج از دامنه
یک سیستم RAG که همیشه پاسخ میدهد خطرناک است. از ربات پشتیبانیتان بپرسید «هوای توکیو چگونه است؟» و اگر به هر حال پاسخ داد، دیگر بر اساس اسناد شما نیست، بلکه حدس میزند. راه حل یک مانع جلوگیری از پاسخ اشتباه است: قبل از اینکه اصلاً پرسش را بسازید، ببینید تکههای بازیابیشده تا چه حد واقعاً با سؤال مطابقت دارند. اگر بهترین تطابق ضعیف باشد، احتمالاً اسناد سؤال را پوشش نمیدهند، بنابراین حرکت درست این است که پاسخ را رد کنید و کار را به واحد مناسب دیگری بسپارید، نه اینکه دچار توهم شوید.
سیگنالی که در اختیار دارید، بالاترین شباهت در میان نتایج بازیابیشده است. یک آستانه انتخاب کنید. اگر بالاترین امتیاز قطعه بازیابیشده زیر آن باشد، درخواست را رد کنید. این یک بررسی ساده و کمهزینه است که بین بازیابی و تولید قرار دارد و یکی از باارزشترین بخشهای یک سیستم RAG تولیدی است: این تفاوت بین «نمیدانم» و یک پاسخ اشتباه با اطمینان است.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7چه چیزی باید بسازیم. بنویس should_refuse(query, contexts, threshold) که contexts یک لیست از دیکشنریها است که هر کدام یک مقدار عددی دارند "score" (شباهت بازیابی). بازگردانید:
Trueوقتیcontextsخالی است (چیزی بازیابی نشده -> چیزی برای پایهگذاری وجود ندارد).Trueزمانی که بالاترین امتیاز در میان زمینهها بهطور قاطع کمتر ازthreshold.Falseدر غیر این صورت (حداقل یک بخش از آستانه عبور میکند).
این مرز عمدی است: نمرهای که دقیقاً برابر آستانه باشد برای پاسخگویی کافی است (برای رد شدن از عملگر کمتر از بهطور دقیق استفاده کنید). توجه کنید که query این شرط برقرار میشود زیرا یک سیستم واقعی ممکن است بر اساس سیگنالهای دیگر نیز پاسخ منفی دهد، اما در اینجا تصمیم بر اساس نمرات است. دکمه Run را فشار دهید تا ببینید چگونه سؤالات داخل دامنه و خارج از دامنه به نتایج متفاوتی میرسند.
نوشتن should_refuse(query, contexts, threshold) که بازمیگردد True وقتی contexts خالی است یا وقتی حداکثر "score" در سراسر دیکشنریهای context به طور قاطع کمتر از threshold، و False در غیر این صورت. نمرهای که دقیقاً برابر آستانه باشد نباید رد شود.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.