Chương trình học Bài 129 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Các cổng LSTM, tự dựng

Vì sao điều này quan trọng LSTM (1997, với cổng quên được dạy ở đây thêm vào năm 2000) đã sửa vấn đề bộ nhớ của RNN và vận hành nhận dạng giọng nói và dịch máy trong hai mươi năm. Mẹo của nó đơn giản một khi bạn nhìn thấy.

Xem nó

Hãy chạy hoạt ảnh. Ngoài trạng thái ẩn h, một LSTM giữ một ô nhớ c, một băng chuyền bộ nhớ. Ba cổng, mỗi cổng là một sigmoid giữa 0 và 1, quyết định điều gì xảy ra với nó:

  • cổng quên f: giữ lại bao nhiêu phần của ô nhớ cũ;
  • cổng đầu vào i: viết vào bao nhiêu thông tin mới g;
  • cổng đầu ra o: cho thấy bao nhiêu phần của ô nhớ dưới dạng h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Dòng then chốt là c = f * c + i * g. Lùi một bước, gradient trên ô nhớ bị nhân với f, và không gì khác: không có phép nhân lặp lại với một ma trận trọng số. Nó vẫn co lại theo f mỗi bước, nên sau k bước nó là f mũ k. Với f = 0.95 đó là 0.08 sau 50 bước; với f = 0.999 nó là 0.95. Vậy một LSTM nhớ được xa khi các cổng quên của nó giữ rất gần 1, và bài học tiếp theo đo xem gần tới đâu là đủ gần.

Từ và ký hiệu trong bài học này
mạng hồi quy (RNN)
một mạng đọc từng bước một và mang một trạng thái ẩn về phía trước
trạng thái ẩn h
vector ngắn các con số mà một RNN mang từ bước này sang bước khác
LSTM
một RNN có một ô nhớ c và ba cổng: quên, đầu vào, đầu ra
Đến lượt bạn

Viết lstm_step(x, h, c, W, b) trả về (h, c), với W shape (inputs + hidden, 4 * hidden) và bốn phần tư theo thứ tự i, f, g, o. Các đầu vào được xếp theo batch: x là (batch, inputs), h và c là (batch, hidden), nên hãy nối x và h dọc theo axis 1.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.