نمونهگیری متن با دما
چرا مهم است هر چتباتی یک تنظیم «دما» دارد. یک تقسیم است و متن امن و تکراری را با متن متنوع و پرخطرتر عوض میکند.
برای برگزیدن نویسهٔ بعدی، یک مدل امتیازهایش را با softmax به احتمال تبدیل میکند. تقسیم امتیازها پیش از آن بر یک دمای T، تیزی آن توزیع را تغییر میدهد: T زیر 1 تیزترش میکند (محبوب بیشتر برنده میشود)، T بالای 1 تختترش میکند (شگفتیها محتمل میشوند).
آنتروپی، منفی جمع p log p، میسنجد یک توزیع چقدر پخش است: وقتی یک انتخاب قطعی است 0، وقتی همهٔ n به یک اندازه محتملاند ln(n).
آن را روی یک مدل ثبتشدهٔ واقعی میسنجید: GPT ریز دوره که روی متن درسهای خودش آموزش دیده است.
واژهها و نمادهای این درس
- دما
- تقسیم امتیازها پیش از softmax: زیر 1 تیزتر، بالای 1 تختتر
- آنتروپی
- اینکه یک توزیع چقدر پخش است: وقتی قطعی است 0، وقتی همهٔ n انتخاب برابرند ln(n)
my_order را برابر دماهای 0.5، 1.0 و 2.0 مرتبشده از کمترین تا بیشترین آنتروپی (پیشبینی شما) قرار دهید. سپس entropy_at(scores, T) را برای یک ردیف از امتیازها بنویسید و measured را با میانگین آنتروپی توزیع نویسهٔ بعدی مدل روی زمینههای دادهشده، برای هر دما، پر کنید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.