پارامترها کجا هستند
چرا مهم است «یک مدل 7 میلیارد پارامتری» همین حساب در یک d بزرگتر است. توانایی شمردن به شما میگوید حافظه کجا میرود و چرا عرض گران است.
در هر بلوک، ماتریسهای بزرگ Wq، Wk، Wv و Wo (چهار تا d در d: 4d به توان دو) و پیشخور (d در 4d و 4d در d: 8d به توان دو) هستند. این میشود 12 d به توان دو، بهعلاوهٔ چند بردار به طول d برای نرمالسازیهای لایه.
بیرون از بلوکها: تعبیههای توکن (V در d، که در این مدل بهعنوان لایهٔ خروجی هم دوباره به کار میروند)، بردارهای جایگاه (ctx در d) و نرمالسازی لایهٔ نهایی.
دو برابر کردن d پارامترهای بلوک را در 4 ضرب میکند، اما زمان را نه در 4. اجراهای ثبتشدهٔ عرض 128 بهطور میانگین حدود 2.3 برابر عرض 64 طول کشیدند (از اجرایی به اجرای دیگر هر جایی از 1.1 تا 4 برابر: زمان دیواری روی یک دستگاه مشترک پرنویز است)، و عرض 32 سریعتر از عرض 64 نبود. در مدلهایی به این کوچکی، هزینههای ثابت هر گام (پایتون، آرایههای کوچک) بخش بزرگی از زماناند؛ آن 4 برابر فقط وقتی آشکار میشود که ضربهای ماتریسی چیره شوند.
واژهها و نمادهای این درس
- سر (head)
- یکی از H توجه باریکتر که کنار هم اجرا میشوند، هر کدام با الگوی خودش
- بردار جایگاه
- به هر توکن اضافه میشود تا توجه بتواند ترتیب را تشخیص دهد
- نرمالسازی لایه
- هر بردار را جداگانه نرمال کنید: میانگین 0، پراکندگی 1، سپس ضرب در g بهعلاوهٔ b
- 12 d به توان دو
- پارامترهای ماتریسهای یک بلوک
count(V, d, layers, ctx) را بنویسید که شمار دقیق پارامترهای این GPT را برمیگرداند (هر بلوک 12 d به توان دو + 4d دارد: دو نرمالسازی لایه با g و b). باید با مدلهای واقعی جور باشد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.