シラバス レッスン 246 中 126 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

文字の RNN

なぜ大切か 前の文字から次の文字を予測することは、もともとの言語モデルです。同じ考えを大きくしたものがチャットボットです。

コース自身のレッスンの文章を一度に 1 文字ずつ入れます。それぞれの一歩で、RNN は状態を更新し、線形の層とソフトマックスで次の文字を予測します。損失は、それぞれの訓練の断片の 16 の位置の上の平均の交差エントロピーです。

それぞれの文字は 埋め込み として入ります:文字の番号で引く、学習した数の行です(モジュール 12 がきちんと説明します。今のところは、ネットワークが訓練する引き表)。

グラフで曲線を当ててください:ステップ 0 と 200 ステップのあとの損失を予想します。文章のすべての文字の上の一様な推測は、約 ln(V) を返します。

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
エントロピー
分布がどれだけ広がっているか:確実なら 0、n の選択がすべて等しければ ln(n)
あなたの番

my_guess を埋めてください。それからコースのエンジンで step_state(x_ids, h, P) を書きます:tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"])。そのまわりの訓練のループは書いてあります。200 ステップのあと、最後の 20 ステップの平均の損失は 2.6 より下でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。