سرفصل‌ها درس 200 از 246 · ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)
ماژول 19: بزرگ‌تر، و چقدر بهتر (قوانین مقیاس)

یک مدل بزرگ‌تر را حدس بزنید

چرا مهم است آموزش یک مدل بزرگ ماه‌ها و میلیون‌ها هزینه دارد. پیش از اینکه کسی آن را خرج کند، از روی اجراهای کوچک پیش‌بینی می‌کنند چقدر خوب خواهد بود. واقعیت شگفت‌انگیز پشت رونق هوش مصنوعی این است که پیش‌بینی معمولاً کار می‌کند. اول ببینید شهود خودتان چقدر خوب است.

مدل‌های این ماژول مدل‌های نویسه‌ای کوچک‌اند: 8 نویسه می‌خوانند و بعدی را پیش‌بینی می‌کنند. یک عدد اندازه‌شان را تعیین می‌کند، عرض لایهٔ پنهان. دوره 150 تا از آن‌ها را (10 عرض، 5 مقدار داده، هر کدام 3 بذر) روی 1.5 میلیون نویسه از متن درس‌های خودش آموزش داد و زیان هر کدام را روی 100,000 نویسه‌ای که هرگز ندید سنجید.

یک مدل عرض 128 (24,401 وزن) که روی 1.5 میلیون توکن آموزش دیده به زیان کنار گذاشته‌شدهٔ حدود 1.86 می‌رسد. یک توکن اینجا یک پیش‌بینی است: یک نویسه.

پیش از نگاه کردن: یک مدل عرض 1024، 7.7 برابر وزن دارد. با آموزش روی همان داده، به چه زیانی می‌رسد؟ برای مقیاس: پیش‌بینی اینکه هر نویسه به یک اندازه محتمل است 4.42 می‌گیرد و بهترین این مدل‌ها زیر 2 می‌رسند.

واژه‌ها و نمادهای این درس
توکن
اینجا، یک پیش‌بینی: یک نویسه
نوبت شما

my_guess را برابر زیان کنار گذاشته‌شدهٔ پیش‌بینی‌شدهٔ خودتان برای عرض 1024 در 1.5 میلیون توکن قرار دهید. سپس actual را از اجراهای ثبت‌شده (میانگین روی 3 بذر) و error را برابر اینکه چقدر خطا داشتید (actual منهای guess) قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.