पाठ्यक्रम 246 में से पाठ 129 · Module 11: memory वाले networks (RNNs)
Module 11: memory वाले networks (RNNs)

LSTM gates, बनाए

यह क्यों मायने रखता है LSTM (1997, यहाँ सिखाया forget gate 2000 में जोड़ा) ने RNN की memory समस्या ठीक की और बीस साल बोली पहचान और अनुवाद चलाया। इसकी तरकीब एक बार देखने पर सादी है।

इसे देखें

animation चलाएँ। hidden state h के अलावा, एक LSTM एक cell c रखता है, memory की एक conveyor belt। तीन gates, हर एक 0 और 1 के बीच एक sigmoid, तय करते हैं कि इसके साथ क्या होता है:

  • forget gate f: पुरानी cell का कितना रखना है;
  • input gate i: कितनी नई जानकारी g लिखनी है;
  • output gate o: cell का कितना h के रूप में दिखाना है।
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

मुख्य line c = f * c + i * g है। एक step पीछे जाने पर, cell पर gradient f से गुणा होता है, और कुछ नहीं: एक weight matrix से कोई दोहराया गुणा नहीं। यह फिर भी हर step f से सिकुड़ता है, इसलिए k steps के बाद यह f की घात k है। f = 0.95 के साथ यह 50 steps के बाद 0.08 है; f = 0.999 के साथ यह 0.95 है। इसलिए एक LSTM बहुत दूर याद रखता है जब उसके forget gates 1 के बहुत पास रहें, और अगला पाठ मापता है कि कितना पास काफ़ी पास है।

इस पाठ के शब्द और चिह्न
recurrent network (RNN)
एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
hidden state h
संख्याओं का वह छोटा vector जो एक RNN step से step ले जाता है
LSTM
एक memory cell c और तीन gates वाला एक RNN: forget, input, output
आपकी बारी

(h, c) लौटाने वाला lstm_step(x, h, c, W, b) लिखें, आकार (inputs + hidden, 4 * hidden) के W और i, f, g, o क्रम में चार चौथाइयों के साथ। inputs batch में हैं: x (batch, inputs) है, h और c (batch, hidden) हैं, इसलिए x और h को axis 1 के साथ जोड़ें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।