سرفصل‌ها درس 151 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

یک بلوک ترنسفورمر، با دست

چرا مهم است یک GPT همان بلوک است که روی هم چیده شده. یکی را با NumPy ساده بنویسید، آن را با وزن‌های واقعی مدل ثبت‌شده اجرا کنید، و اگر اعدادتان با اعداد خود مدل جور بود، هر خط یک ترنسفورمر را می‌فهمید.

آن را ببینید

پویانمایی را پخش کنید. یک بلوک h (t جایگاه در d) را می‌گیرد و دو کار انجام می‌دهد، هر کدام دوباره به h اضافه می‌شود (مسیر باقی‌ماندهی ماژول 6):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

نام‌ها در مدل ثبت‌شده: qkv{l} مقدارهای Wq، Wk و Wv را کنار هم نگه می‌دارد (d در 3d)، o{l} همان Wo است، g1{l}, b1{l} و g2{l}, b2{l} دو نرمال‌سازی لایه‌اند، w1{l}, w2{l} پیش‌خور. سر h از ستون‌های h ضرب در 16 تا (h + 1) ضرب در 16 هر یک از Q، K و V استفاده می‌کند.

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نرمال‌سازی لایه
هر بردار را جداگانه نرمال کنید: میانگین 0، پراکندگی 1، سپس ضرب در g به‌علاوهٔ b
بلوک ترنسفورمر
h + attention(norm(h))، سپس h + feed-forward(norm(h))
نوبت شما

block(h, l) را برای یک دنباله (h برابر t در d) بنویسید. مدل کامل برایتان سرهم شده است؛ logitهایش باید با model.logits جور باشند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.