سرفصل‌ها درس 153 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

یک GPT ریز را زنده آموزش دهید

چرا مهم است همه چیز کنار هم می‌آید: تعبیه‌ها، جایگاه‌ها، توجه چندسری ماسک‌دار، باقی‌مانده‌ها و نرمال‌سازی‌های لایه، که با Adam روی پیش‌بینی نویسهٔ بعدی آموزش داده می‌شوند. روی CPU خودتان، در چند ثانیه.

عرض 32، 2 بلوک، 4 سر، 32 نویسه زمینه: حدود 29,000 پارامتر. 150 گام هر کدام با 16 تکه، چند ثانیه روی یک لپ‌تاپ. پیش‌بینی منحنی: زیان در آغاز و پس از 150 گام. (یک حدس یکنواخت روی 95 نویسه ln 95 = 4.55 است.)

سپس از آن نمونه بگیرید. پس از 150 گام سوپ حروف با فاصله‌هایی تقریباً در جای درست می‌سازد؛ مدل ثبت‌شدهٔ عرض 64، که 2,000 گام آموزش دیده، متنی به شکل واژه می‌نویسد. همان کد، محاسبهٔ بیشتر.

واژه‌ها و نمادهای این درس
توجه
softmax امتیازهای پرس‌وجو-کلید، که برای میانگین گرفتن مقدارها به کار می‌رود
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نرمال‌سازی لایه
هر بردار را جداگانه نرمال کنید: میانگین 0، پراکندگی 1، سپس ضرب در g به‌علاوهٔ b
نوبت شما

my_guess را پر کنید، سپس با model.train (150 گام، نرخ یادگیری 0.003، دستهٔ 16) روی corpus.TEXT آموزش دهید و تاریخچه را در hist نگه دارید. فراخوانی hist = model.train(text, steps=..., lr=..., batch=...) است؛ دیکشنری‌ای برمی‌گرداند که hist['loss'] آن زیان آموزش ثبت‌شده در هر 20 گام (و در آخرین گام) است، و model.generate(prompt, n, temperature) پس از آن متن می‌نویسد. (help(model.train) این را هم چاپ می‌کند.) میانگین 5 زیان ثبت‌شدهٔ آخر باید زیر 2.85 باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.