Chương trình học Bài 104 trên tổng số 250 · Trực giác về mạng nơ-ron, LLM và dự án cuối về AI
Trực giác về mạng nơ-ron, LLM và dự án cuối về AI

Lan truyền ngược và kiểm tra gradient

Bạn đã huấn luyện một mô hình đồ chơi bằng cách nhích trọng số xuống dốc. Nhưng gradient đến từ đâu, và làm sao bạn biết chúng đúng? Bài này trả lời cả hai, và câu trả lời thứ hai, kiểm tra gradient, là thói quen duy nhất phân biệt các mạng nơ-ron chạy đúng với những mạng hỏng một cách lặng lẽ.

Lan truyền ngược chỉ là quy tắc dây chuyền. Lấy một ví dụ qua một mô hình tí hon: dự đoán z = w * x, rồi đo sai số bình phương L = (z - y)**2. Để cải thiện w bạn cần dL/dw. Tính nó qua hai bước nhảy rồi nhân lại:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Tích đó CHÍNH LÀ lan truyền ngược, ở dạng thu nhỏ: mỗi tầng nhân gradient chảy ngược về với đạo hàm cục bộ của riêng nó. Xếp chồng một triệu cái như vậy và bạn có một mạng sâu.

Giờ, công thức của bạn có đúng không? Xác minh nó bằng số. Định nghĩa của đạo hàm là một cú nhích tí hon, nên hãy ước lượng nó bằng một sai phân hữu hạn trung tâm và kiểm tra gradient giải tích khớp:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Nếu chúng không khớp, lượt truyền ngược của bạn có lỗi, mọi mã nguồn học sâu nghiêm túc đều kiểm tra gradient chính vì lý do này.

Xây hai hàm. loss(w, x, y) trả về (w*x - y)**2. grad(w, x, y) trả về gradient giải tích dL/dw = 2*(w*x - y)*x. Các bài kiểm tra ẩn sẽ kiểm tra grad của bạn với một sai phân hữu hạn của chính loss của bạn tại nhiều điểm ngẫu nhiên, nên một công thức sai không thể qua. Nhấn Chạy để xem giá trị giải tích và giá trị số khớp nhau.

Đến lượt bạn

Viết loss(w, x, y) trả về sai số bình phương (w*x - y)**2, và grad(w, x, y) trả về gradient giải tích của nó theo w, theo quy tắc dây chuyền là 2*(w*x - y)*x. grad của bạn sẽ được kiểm tra với một sai phân hữu hạn trung tâm của chính loss của bạn tại nhiều điểm ngẫu nhiên, nên nó phải là đạo hàm thật, không phải một xấp xỉ hay một hằng số.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.