جداکنندهها، اتصال به زمین و ضد توهم
مؤثرترین روش برای جلوگیری از ساختن مطالب توسط یک مدل، زمینهسازی است: به آن منبع اصلی را بدهید، آن را با جداکنندههای واضح محصور کنید و دستور دهید تنها از آن منبع پاسخ دهد، با یک راه فرار صریح وقتی پاسخ در آن یافت نمیشود. این هستهی هر سیستم تقویتشده با بازیابی است و همهچیز ساخت دستور است.
ساخت grounded_prompt(question, context_chunks) که مونتاژ میکند:
- یک
CONTEXT:بخش با شمارهگذاری و محصور کردن هر قسمت، مانند[1] ...,[2] .... - سؤال پس از زمینه.
- یک دستور دقیق برای پاسخدادن تنها بر اساس زمینه، که با عبارت خروج اضطراری پایان مییابد: اگر پاسخ در زمینه نباشد، دقیقاً پاسخ دهید
I don't know. - یک چرخش پاسخ باز انتهایی تا مدل بداند پاسخ دهد.
سپس چککننده را بسازید. check_grounded(answer, context_chunks) بازمیگردد True وقتی پاسخ مستدل است: یا دقیقاً همان است I don't know. sentinel، یا هر واژهٔ مهم در پاسخ در متن پیوندی ظاهر میشود. آن بازمیگردد False وقتی پاسخ شامل کلمات ساختگی باشد که در زمینه هرگز ذکر نشدهاند.
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)در بررسی واژههای مهم، کلمات ربط کوچک (the, is, a, of...) را نادیده بگیرید، تا نگارش طبیعی جریمه نشود، اما یک کلمه محتوایی مانند Berlin که هرگز در متن به درستی ظاهر نمیشود، در بررسی رد میشود. برای نمرهدهی روی اجرا کلیک کنید.
در مورد آنچه این ابزار تشخیص میدهد صادق باشید: پرچمهای containment توکنهای ساختگی (واژههایی که در متن هرگز ذکر نشدهاند) را شناسایی میکنند، اما نمیتوانند ادعای دروغینی را که از واژههای واقعی متن بازسازی شده است، تشخیص دهند. جمله «بازپرداختها چند روز کاری فرانسه طول میکشد» در اینجا تأیید میشود، هرچند بیمعنی است، زیرا هر کلمه در متن وجود دارد. بررسی وفاداری واقعی نیازمند یک داور LLM یا یک مدل NLI (استنتاج) است که درباره معنا استدلال کند، نه صرفاً عضویت کلمات.
نوشتن grounded_prompt(question, context_chunks) که زیر بخشها را شمارهگذاری و حصارکشی میکند CONTEXT:، سؤال را اضافه میکند و تنها از متن با خروجی دقیق پاسخ میخواهد I don't know.، و در یک نوبت پاسخ باز پایان مییابد. چیدمان دقیق، خطوط با "\n": CONTEXT:، سپس یک خط برای هر بخش که به صورت نوشته شده است [1] chunk text, [2] ...، یک خط خالی، Question: ...، خط دستور (باید شامل باشد I don't know.)، و در نهایت نوبت پاسخ باز [assistant]. بنویسید check_grounded(answer, context_chunks) بازگرداندن True برای sentinel OR وقتی که هر واژهٔ پاسخ مهم (غیر از واژههای متوقف) در زمینهٔ متصل باشد، در غیر این صورت False.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.