سرفصل‌ها درس 148 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

توجه هیچ حسی از ترتیب ندارد

چرا مهم است «سگ مرد را گاز گرفت» و «مرد سگ را گاز گرفت» از همان واژه‌ها استفاده می‌کنند. خودتوجهی، به‌تنهایی، نمی‌تواند آن‌ها را از هم تشخیص دهد. دیدن چرایی‌اش جزء اضافه‌ای را که هر ترنسفورمر اضافه می‌کند توضیح می‌دهد.

ردیف‌های X را به هم بزنید و ردیف‌های خروجی خودتوجهی به همان شکل به هم می‌خورند، هیچ چیز دیگری تغییر نمی‌کند. نتیجهٔ هر جایگاه به اینکه کدام بردارها حاضرند بستگی دارد، نه اینکه کجا نشسته‌اند. (با ماسک علّی این کاملاً درست نیست: جایگاه i دقیقاً i + 1 توکن می‌بیند، پس یک مدل می‌تواند یاد بگیرد آن‌ها را بشمارد، و مدل‌های علّی بدون بردارهای جایگاه ترتیب را به همین شکل یاد می‌گیرند. اما کند و غیرقابل اعتماد است؛ بردارهای جایگاه صریح ترتیب را آسان می‌کنند.)

پس ترنسفورمرها پیش از لایهٔ اول یک بردار جایگاه به تعبیهٔ هر توکن اضافه می‌کنند. GPT ثبت‌شده برای هر جایگاه یک بردار یاد گرفت، 32 تا. اگر آن‌ها را پاک کنیم چه بر سر پیش‌بینی‌هایش می‌آید؟

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
خودتوجهی
هر جایگاه به جایگاه‌های همان متن توجه می‌کند
ماسک علّی
امتیازهای بالای قطر برابر منفی بی‌نهایت: هیچ جایگاهی آینده را نمی‌بیند
بردار جایگاه
به هر توکن اضافه می‌شود تا توجه بتواند ترتیب را تشخیص دهد
نوبت شما

shuffle_check(f) را بنویسید: اگر جایگشت ردیف‌های یک X تصادفی ردیف‌های خروجی f را به همان شکل جایگشت دهد True. اینجا f(X, Wq, Wk, Wv) فقط خروجی را برمی‌گرداند، مثل attn در زیر؛ X و وزن‌های تصادفی را درون shuffle_check بسازید. سپس with_pos و without_pos را پر کنید: زیان مدل ثبت‌شده روی دادهٔ کنار گذاشته‌شده (model.eval_loss(held, n=32)) همان‌طور که هست و با model.P["pos"].data برابر صفرها (پس از آن سر جایش برگردانید).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.