مجموعهٔ آزمونی که مدل از قبل دیده
چرا مهم است مدلهای بزرگ روی بیشتر اینترنت عمومی آموزش میبینند و مجموعههای آزمون عمومی روی اینترنتاند. وقتی نمونههای آزمون به آموزش نشت میکنند، امتیازها به دلیلی بالا میروند که ربطی به مهارت ندارد، و مقالهای که آنها را گزارش میکند ممکن است هرگز نفهمد.
یک مجموعهٔ آزمون عمومی از 120 متن برای GPT دوره. نویسندگانش میگویند جداگانه نوشته شده است. بخشی از آن در واقع از متن درسهای دوره کپی شده، که همان چیزی است که GPT رویش آموزش دید.
یک بررسی استاندارد: هر متن را به تکههای 13 نویسهای ببرید و آنها را در متن آموزشی جستوجو کنید. متنی که جداگانه نوشته شده بهطور شانسی تکههای بلند کمی را به اشتراک میگذارد؛ متنی کپیشده همه را. judge.overlap(p) سهم تکههای یک متن را که در متن آموزشی پیدا شدهاند میدهد و judge.losses(model, passages) زیان مدل روی هر متن را.
اول پیشبینی کنید: آیا برداشتن متنهای نشتکرده زیان گزارششده را بهتر میکند یا بدتر؟
واژهها و نمادهای این درس
- آلودگی (نشت)
- نمونههای آزمونی که در دادهٔ آموزشی هم بودند
my_guess را برابر "better" یا "worse" قرار دهید. reported (میانگین زیان روی همهٔ 120)، leaked (فهرستی از True/False، همپوشانی بالای 0.5)، clean (میانگین زیان روی متنهایی که نشت نکردهاند) و leaked_loss را پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.