سرفصل‌ها درس 229 از 246 · ماژول 22: سنجیدن ادعاها
ماژول 22: سنجیدن ادعاها

مجموعهٔ آزمونی که مدل از قبل دیده

چرا مهم است مدل‌های بزرگ روی بیشتر اینترنت عمومی آموزش می‌بینند و مجموعه‌های آزمون عمومی روی اینترنت‌اند. وقتی نمونه‌های آزمون به آموزش نشت می‌کنند، امتیازها به دلیلی بالا می‌روند که ربطی به مهارت ندارد، و مقاله‌ای که آن‌ها را گزارش می‌کند ممکن است هرگز نفهمد.

یک مجموعهٔ آزمون عمومی از 120 متن برای GPT دوره. نویسندگانش می‌گویند جداگانه نوشته شده است. بخشی از آن در واقع از متن درس‌های دوره کپی شده، که همان چیزی است که GPT رویش آموزش دید.

یک بررسی استاندارد: هر متن را به تکه‌های 13 نویسه‌ای ببرید و آن‌ها را در متن آموزشی جست‌وجو کنید. متنی که جداگانه نوشته شده به‌طور شانسی تکه‌های بلند کمی را به اشتراک می‌گذارد؛ متنی کپی‌شده همه را. judge.overlap(p) سهم تکه‌های یک متن را که در متن آموزشی پیدا شده‌اند می‌دهد و judge.losses(model, passages) زیان مدل روی هر متن را.

اول پیش‌بینی کنید: آیا برداشتن متن‌های نشت‌کرده زیان گزارش‌شده را بهتر می‌کند یا بدتر؟

واژه‌ها و نمادهای این درس
آلودگی (نشت)
نمونه‌های آزمونی که در دادهٔ آموزشی هم بودند
نوبت شما

my_guess را برابر "better" یا "worse" قرار دهید. reported (میانگین زیان روی همهٔ 120)، leaked (فهرستی از True/False، هم‌پوشانی بالای 0.5)، clean (میانگین زیان روی متن‌هایی که نشت نکرده‌اند) و leaked_loss را پر کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.