سرفصل‌ها درس 54 از 246 · ماژول 4: موتور autograd خودتان
ماژول 4: موتور autograd خودتان

ثبت گراف و مرتب کردن آن

چرا مهم است گذر رو به عقب باید هر جعبه را فقط پس از همهٔ جعبه‌هایی که به آن وابسته‌اند بازدید کند. اشتباه گرفتن این ترتیب گرادیان‌هایی بی‌صدا اشتباه می‌دهد.

آن را ببینید

x را تصور کنید که دو بار به کار رفته: a = x * 2، b = x * 3، L = a + b. این یک لوزی است. در رفتن رو به عقب از L، باید پیش از رسیدگی به x کار هر دو a و b را تمام کنیم، چون گرادیان x جمع چیزی است که از هر دو برمی‌گردد.

راه‌حل فهرست کردن گره‌ها به ترتیب توپولوژیک است: هر گره پس از همهٔ والدهایش. سپس گذر رو به عقب آن فهرست را به‌صورت معکوس می‌پیماید. یک جست‌وجوی عمق-اول فهرست را می‌سازد: اول والدهای یک گره را بازدید کنید، سپس گره را اضافه کنید، و گره‌هایی را که قبلاً دیده‌اید رد کنید.

ترتیب توپولوژیک: ترتیبی از یک گراف که در آن هر گره پس از گره‌هایی که به آن‌ها وابسته است می‌آید.

واژه‌ها و نمادهای این درس
Tensor
اینجا: یک آرایه به‌علاوهٔ گرادیانش به‌علاوهٔ Tensorهایی که از آن‌ها آمده
ترتیب توپولوژیک
هر گره پس از گره‌هایی که به آن‌ها وابسته است فهرست می‌شود
.grad
گرادیان زیان نهایی نسبت به این Tensor
unbroadcast
جمع زدن یک گرادیان تا شکلی که از آن کشیده شده بود
نوبت شما

متد topo را بنویسید: هر گره‌ای را که self به آن وابسته است (از جمله خودش) برگردانید، هر کدام پس از همهٔ والدهایش، بدون تکرار.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.