سرفصل‌ها درس 158 از 246 · ماژول 13: توجه و ترنسفورمرها
ماژول 13: توجه و ترنسفورمرها

دروازه: یک ترنسفورمر خراب (هوش مصنوعی خاموش)

چرا مهم است این یک گذر رو به جلوی کامل GPT است که با موتور دوره نوشته شده و دو عیب دارد. هر دو کلاسیک‌اند و هر کدام به‌تنهایی تیم‌های واقعی را فریب داده است.

دستیار هوش مصنوعی خاموش. یک عیب اجازه می‌دهد مدل نویسه‌هایی را که قرار است پیش‌بینی کند ببیند. دیگری آموزش پشته را بسیار دشوارتر می‌کند. هر دو را پیدا و درست کنید.

واژه‌ها و نمادهای این درس
پرس‌وجو، کلید، مقدار
آنچه یک جایگاه دنبالش است؛ آنچه هر جایگاه برای جور شدن عرضه می‌کند؛ آنچه تحویل می‌دهد
سر (head)
یکی از H توجه باریک‌تر که کنار هم اجرا می‌شوند، هر کدام با الگوی خودش
نوبت شما

logits را درست کنید. تغییر یک نویسه نباید هیچ پیش‌بینی‌ای برای جایگاه‌های پیشین را تغییر دهد، و پس از 200 گام میانگین زیان روی 20 گام آخر باید زیر 2.65 باشد.

هوش مصنوعی خاموش: در این یکی مربی، راهنمایی یا راه‌حل کاملی نیست. فقط فکر خودتان.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.