سرفصل‌ها درس 105 از 250 · شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی
شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی

یک موتور آتوگرید بسازید

شما یک شیب را به‌صورت دستی محاسبه کردید و با شیب‌سنجی آن را بررسی کردید. شبکه‌های واقعی میلیون‌ها پارامتر دارند، بنابراین نمی‌توانید هر یک را به‌صورت دستی مشتق کنید. ترفندی که یادگیری عمیق را ممکن می‌سازد، عبارت است از تفاوت‌گیری خودکارهر مقدار به یاد دارد که چگونه محاسبه شده است و شیب‌ها به‌طور خودکار از طریق آن سابقه به عقب جریان می‌یابند. شما در آستانه‌ی ساخت موتور، همان ایده‌ای که در PyTorch و micrograd کارپاسی وجود دارد، در چند خط هستید.

واحد یک Value: عددی که شیب خود را نیز ذخیره می‌کند و یک تابع کوچک که می‌داند چگونه شیب را به ورودی‌هایش منتقل کند. وقتی دو عدد را جمع یا ضرب می‌کنید Values، نتیجه والدین خود را ثبت می‌کند. اسکلت زیر به شما می‌دهد __init__ و یک backward() که گراف را به ترتیب درست پیمایش می‌کند (ابتدا مرتب‌سازی توپولوژیکی، سپس برعکس از طریق قاعده زنجیره). شما دو شیب محلی را پیاده‌سازی می‌کنید.، که کل درس است:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

جمع فقط شیب ورودی را به هر دو ورودی کپی می‌کند. در ضرب است که قاعده زنجیره به کار می‌آید: d(a*b)/da = b و d(a*b)/db = a، هر بار شیب از بالا جاری می‌شود (out.grad). توجه +=، نه =: مقداری که در چندین مکان استفاده می‌شود، از هر یک شیب را جمع‌آوری می‌کند.

تکمیل‌شده __add__ و __mul__ تا آنها _backward بست‌ها شیب‌های محلی صحیح را تنظیم می‌کنند. تست‌های مخفی عبارت‌ها را می‌سازند و فراخوانی می‌کنند. .backward()و هر نتیجه را با روش اختلاف محدود بررسی کنید، بنابراین یک قانون نادرست نمی‌تواند تصویب شود. فشار دهید دویدن عبور دادن گرادیان از طریق a*b + a.

نوبت شما

تکمیل کنید Value کلاس's __add__ و __mul__ تا پس‌انتشار (backprop) صحیح باشد. در __add__'s _backward، اضافه کنید out.grad را به هر دو اضافه کنید self.grad و other.grad (تولّد محلی ۱). در __mul__ _backward، اضافه کنید other.data * out.grad به self.grad و self.data * out.grad برای other.grad (قاعده حاصلضرب). استفاده از += بنابراین مقادیر دوبارهٔ استفاده شده شیب را انباشته می‌کنند. مقدار داده‌شده backward() مسئول ترتیب‌بندی است.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.