文字の RNN
なぜ大切か 前の文字から次の文字を予測することは、もともとの言語モデルです。同じ考えを大きくしたものがチャットボットです。
コース自身のレッスンの文章を一度に 1 文字ずつ入れます。それぞれの一歩で、RNN は状態を更新し、線形の層とソフトマックスで次の文字を予測します。損失は、それぞれの訓練の断片の 16 の位置の上の平均の交差エントロピーです。
それぞれの文字は 埋め込み として入ります:文字の番号で引く、学習した数の行です(モジュール 12 がきちんと説明します。今のところは、ネットワークが訓練する引き表)。
グラフで曲線を当ててください:ステップ 0 と 200 ステップのあとの損失を予想します。文章のすべての文字の上の一様な推測は、約 ln(V) を返します。
このレッスンの言葉と記号
- 再帰型ネットワーク(RNN)
- 一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
- エントロピー
- 分布がどれだけ広がっているか:確実なら 0、n の選択がすべて等しければ ln(n)
my_guess を埋めてください。それからコースのエンジンで step_state(x_ids, h, P) を書きます:tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"])。そのまわりの訓練のループは書いてあります。200 ステップのあと、最後の 20 ステップの平均の損失は 2.6 より下でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。