Chương trình học Bài 48 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Tự tay lan truyền ngược cho một mạng hai lớp

Vì sao điều này quan trọng Bài học này là toàn bộ lan truyền ngược cho một mạng thật. Sau nó, không có gì trong một thư viện học sâu là phép màu.

Xem nó trước

Hãy chạy hoạt ảnh. Sai số bắt đầu ở đầu ra dưới dạng (softmax trừ one-hot). Nó chảy ngược qua lớp thứ hai, bị chặn ở bất cứ đâu một ReLU đã tắt, chảy qua lớp thứ nhất, và để lại một gradient trên mọi trọng số.

Lượt xuôi

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

Lượt ngược, bằng cách khớp shape

Mẹo làm điều này dễ: mọi gradient có cùng shape với thứ nó thuộc về. Nếu bạn biết các shape, thường chỉ có một cách nhân các mảnh với nhau cho vừa. Hai bước đầu tiên, có lời giải:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

Phần còn lại là của bạn. Hãy tính ra mỗi cái từ shape mà nó phải có:

  • db2: shape (classes,). Mỗi độ lệch đã được cộng vào mọi hàng.
  • dH: shape (n, hidden), giống như H. Nó đến từ dZ và W2.
  • dH_pre: shape (n, hidden). ReLU đã cho đầu vào của nó đi qua ở chỗ nó bật và chặn nó ở chỗ khác.
  • dW1 và db1: cùng hai bước như với W2 và b2, xuống một lớp.

Tóm tắt Lượt ngược là lượt xuôi đi ngược lại, nhân với độ dốc cục bộ của mỗi bước, với các shape làm người dẫn đường.

Từ và ký hiệu trong bài học này
trọng số (w, W), độ lệch (b)
các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
ReLU
max(0, z): giữ số dương, đưa số âm về không
one-hot
các số không với một số 1 duy nhất ở lớp đúng
lan truyền ngược
quy tắc dây chuyền chạy ngược để có gradient của mọi trọng số
Đến lượt bạn

Viết forward_backward(X, y, W1, b1, W2, b2) trả về (loss, grads) trong đó grads là một dict với các khóa W1, b1, W2, b2. Bài kiểm tra được giấu kiểm tra mọi gradient với một lần đẩy nhẹ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.