Chương trình học Bài 105 trên tổng số 250 · Trực giác về mạng nơ-ron, LLM và dự án cuối về AI
Trực giác về mạng nơ-ron, LLM và dự án cuối về AI

Xây một engine autograd

Bạn đã tự tay tính một gradient và kiểm tra nó. Mạng thật có hàng triệu tham số, nên bạn không thể tự suy ra từng cái. Mẹo khiến học sâu khả thi là vi phân tự động: mọi giá trị đều nhớ nó được tính ra sao, và gradient tự động chảy ngược qua bản ghi đó. Bạn sắp xây engine đó, cùng ý tưởng bên trong PyTorch và micrograd của Karpathy, trong vài dòng.

Đơn vị là một Value: một con số cũng lưu gradient của nó và một hàm tí hon biết cách đẩy gradient tới các đầu vào của nó. Khi bạn cộng hay nhân hai Value, kết quả ghi lại cha mẹ của nó. Giàn giáo bên dưới cho bạn __init__ và một backward() đi qua đồ thị theo đúng thứ tự (một phép sắp xếp tô-pô, rồi quy tắc dây chuyền từ đầu ra ngược về). Bạn cài đặt hai gradient cục bộ, đó là toàn bộ bài học:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Phép cộng chỉ sao chép gradient đi vào cho cả hai đầu vào. Phép nhân là nơi quy tắc dây chuyền phát huy: d(a*b)/da = b và d(a*b)/db = a, mỗi cái nhân với gradient chảy vào từ phía trên (out.grad). Chú ý +=, không phải =: một giá trị dùng ở nhiều chỗ tích lũy gradient từ mỗi chỗ.

Hoàn thành __add__ và __mul__ để các closure _backward của chúng đặt đúng gradient cục bộ. Các bài kiểm tra ẩn dựng các biểu thức, gọi .backward(), và kiểm tra gradient mọi kết quả với một sai phân hữu hạn, nên một quy tắc sai không thể qua. Nhấn Chạy để lan truyền ngược qua a*b + a.

Đến lượt bạn

Hoàn thành __add__ và __mul__ của lớp Value để lan truyền ngược đúng. Trong _backward của __add__, cộng out.grad vào CẢ self.grad lẫn other.grad (đạo hàm cục bộ 1). Trong _backward của __mul__, cộng other.data * out.grad vào self.grad và self.data * out.grad vào other.grad (quy tắc tích). Dùng += để các giá trị được dùng lại tích lũy gradient. backward() được cho sẵn lo phần thứ tự.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.