Tự tay lan truyền ngược cho một mạng hai lớp
Vì sao điều này quan trọng Bài học này là toàn bộ lan truyền ngược cho một mạng thật. Sau nó, không có gì trong một thư viện học sâu là phép màu.
Xem nó trước
Hãy chạy hoạt ảnh. Sai số bắt đầu ở đầu ra dưới dạng (softmax trừ one-hot). Nó chảy ngược qua lớp thứ hai, bị chặn ở bất cứ đâu một ReLU đã tắt, chảy qua lớp thứ nhất, và để lại một gradient trên mọi trọng số.
Lượt xuôi
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
Lượt ngược, bằng cách khớp shape
Mẹo làm điều này dễ: mọi gradient có cùng shape với thứ nó thuộc về. Nếu bạn biết các shape, thường chỉ có một cách nhân các mảnh với nhau cho vừa. Hai bước đầu tiên, có lời giải:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
Phần còn lại là của bạn. Hãy tính ra mỗi cái từ shape mà nó phải có:
db2: shape (classes,). Mỗi độ lệch đã được cộng vào mọi hàng.dH: shape (n, hidden), giống như H. Nó đến từ dZ và W2.dH_pre: shape (n, hidden). ReLU đã cho đầu vào của nó đi qua ở chỗ nó bật và chặn nó ở chỗ khác.dW1vàdb1: cùng hai bước như với W2 và b2, xuống một lớp.
Tóm tắt Lượt ngược là lượt xuôi đi ngược lại, nhân với độ dốc cục bộ của mỗi bước, với các shape làm người dẫn đường.
Từ và ký hiệu trong bài học này
- trọng số (w, W), độ lệch (b)
- các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
- ReLU
- max(0, z): giữ số dương, đưa số âm về không
- one-hot
- các số không với một số 1 duy nhất ở lớp đúng
- lan truyền ngược
- quy tắc dây chuyền chạy ngược để có gradient của mọi trọng số
Viết forward_backward(X, y, W1, b1, W2, b2) trả về (loss, grads) trong đó grads là một dict với các khóa W1, b1, W2, b2. Bài kiểm tra được giấu kiểm tra mọi gradient với một lần đẩy nhẹ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.