シラバス レッスン 246 中 38 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

関門:コードの中の数学(AI オフ)

なぜ大切か このモジュールの 3 つの部品は、後のどのモジュールにも戻ってきます。大きな数に耐える softmax、行列の掛け算の勾配、KL ダイバージェンス。この数学をもう知っている? ほかのレッスンの前に、先にこの関門を受けられます:合格するとこのモジュールが終わったことになり、次が開きます。

AI のチューターはオフです。softmax には、ずらしの手口を使ってください:すべての点数から最も大きな点数を引いても紙の上では何も変わりませんが、どの exp も最大 1 に保たれます。本物のロジットは大きくなりえ、大きな入力で nan を返す softmax は、訓練の実行をこっそり台無しにします。

このレッスンの言葉と記号
微分 (df/dx)
入力の単位の動きあたりに、出力がどれだけ速く変わるか
softmax
それぞれの点数の exp を合計で割る:点数が確率になる
交差エントロピー
正しい答えに与えた確率の対数の符号を反転したもの
KL(P || Q)
2 つの分布がどれだけ違うか。一致するときだけゼロ。順番が大事
あなたの番

ロジットの 2 次元の配列(例ごとに 1 行)について、次を書いてください:

  • logsumexp(z):それぞれの行に沿った exp の和の対数で、巨大な値にも安全。
  • stable_softmax(z):それぞれの行に沿った softmax で、巨大な値にも安全。
  • nll(z, labels):ロジットからまっすぐ logsumexp - z[true] として計算した平均の交差エントロピーで、決して softmax の対数を取らない。
  • matmul_grads(X, W, G):Y = X @ W と、Y についての勾配が G である損失について、ヤコビアンを何も作らずに、X と W についての勾配 (dX, dW) を返す。
  • kl_normal(m1, s1, m2, s2):釣鐘の曲線 N(m1, s1) から N(m2, s2) への KL ダイバージェンスで、s1 と s2 は散らばり(標準偏差)。

確認は毎回新しいランダムな形と数を使い、少しずつ動かすことと数値の積分と比べます。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

コード · ブラウザで実行
出力

        

あなたの進捗は匿名で記録されています。 変更する