Chương trình học Bài 128 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Gradient biến mất và bùng nổ, được đo lường

Vì sao điều này quan trọng Bạn vừa thấy gradient cho một bước sớm bị nhân với w một lần mỗi bước. Với nhiều bước, tích đó hoặc co lại thành không hoặc bùng nổ. Đây là điểm yếu chính của RNN thuần.

Với một ma trận trọng số W thay vì một con số, lùi một bước nhân gradient với W chuyển vị (bỏ qua tanh, thứ chỉ có thể làm nó co thêm). Một bước có thể làm một vector tăng nhiều nhất bằng độ kéo giãn lớn nhất của W, chuẩn phổ (spectral norm) của nó. Qua nhiều bước điều quan trọng là bán kính phổ, độ lớn trị riêng lớn nhất của W (Mô-đun 2, "Độ phân tán cộng dồn ra sao, và một ma trận kéo giãn cái gì"): sau k bước kích thước đã thay đổi khoảng r mũ k. (Với các phép quay được dùng bên dưới, hai cái là cùng một con số, r.) r = 0.9 qua 50 bước: 0.005. r = 1.1 qua 50 bước: 117.

Hai cách chữa khác nhau

Gradient bùng nổ có một cách chữa thô: cắt chúng (Mô-đun 5). Gradient biến mất không có cách chữa như vậy. Tổng gradient cho một trọng số là một tổng trên mọi khoảng cách lùi về quá khứ; khi các số hạng tầm xa co lại như 0.9 mũ 50, chúng bị các số hạng tầm gần nhấn chìm, và phóng to cả tổng thì phóng to luôn cả nhiễu. Mạng đơn giản là không thể biết rằng một thứ ở xa phía sau đã quan trọng. Cách chữa ở đó là một kiến trúc khác: LSTM, tiếp theo.

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
gradient biến mất / bùng nổ
một gradient bị nhân với cùng một ma trận nhiều lần co lại thành không hay bùng nổ
LSTM
một RNN có một ô nhớ c và ba cổng: quên, đầu vào, đầu ra
Đến lượt bạn

Viết gradient_sizes(W, steps): bắt đầu từ một gradient toàn số một, nhân với W.T một lần mỗi bước, và trả về list các chuẩn (một cho mỗi bước). Rồi gán verdicts là "vanish", "steady" hoặc "explode" cho ba ma trận, đánh giá theo chuẩn sau 50 bước (dưới 0.01, giữa 0.01 và 100, trên 100).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.