سرفصل‌ها درس 149 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

جایگاه‌ها به‌صورت موج

چرا مهم است بردارهای جایگاه یادگرفته‌شده در طولانی‌ترین متن دیده‌شده در آموزش متوقف می‌شوند. ترنسفورمر اصلی به جای آن از موج‌های ثابت استفاده کرد که به هر جایگاه الگویی یکتا می‌دهند و «3 گام فاصله» را هر جا رخ دهد یکسان جلوه می‌دهند.

برای جایگاه p و نمایهٔ جفت i (0، 1، 2، ...)، با d عدد در مجموع:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

جفت اول یک موج تند است، جفت‌های بعدی آهسته‌تر و آهسته‌تر، مثل عقربه‌های ساعت: ثانیه، دقیقه، ساعت. با هم به هر جایگاه خوانشی متمایز می‌دهند.

ویژگی مفید: ضرب داخلی PE[p] . PE[p + k] فقط به k، فاصله، بستگی دارد، نه به p. (هر جفت کسینوس تفاوت زاویه را سهم می‌دهد، با اتحاد sin a sin b + cos a cos b = cos(a - b).)

این حوزه اکنون کجاست بیشتر مدل‌های زبانی باز امروز نه از موج‌های افزوده‌شده به ورودی و نه از بردارهای جایگاه یادگرفته‌شده استفاده می‌کنند. RoPE (تعبیهٔ جایگاه چرخشی، Su و همکاران 2021) هر بردار پرس‌وجو و کلید را، پس از تصویرهای پرس‌وجو و کلید، به اندازهٔ زاویه‌ای که با جایگاهش رشد می‌کند می‌چرخاند، تا امتیاز میان دو جایگاه فقط به فاصله‌شان بستگی داشته باشد. ALiBi (Press و همکاران 2021) اصلاً بردار جایگاهی اضافه نمی‌کند: از هر امتیاز توجه جریمه‌ای کم می‌کند که با فاصله رشد می‌کند. هر دو برای متن‌های طولانی‌تر از متن‌های آموزش بهتر کار می‌کنند. موج‌های اینجا انتخاب ترنسفورمر اصلی و ساده‌ترین برای دیدن‌اند.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
بردار جایگاه
به هر توکن اضافه می‌شود تا توجه بتواند ترتیب را تشخیص دهد
نوبت شما

positions(n, d) را بنویسید که یک آرایهٔ n در d برمی‌گرداند. سپس same_distance را برابر بزرگ‌ترین تفاوت میان PE[p] . PE[p + 5] روی p = 0 تا 50 قرار دهید (باید در اصل 0 باشد).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.