散らばりがどう足し合わさるか、行列が何を伸ばすか
なぜ大切か 2 つの事実が、深いネットワークがそもそも訓練されるかを決めます。和の散らばりが項の数とともにどう増えるか(モジュール 6 はそれで始まりの重みを決めます)、そして行列が当てはめられるたびにベクトルをどれだけ伸ばすか(モジュール 11 の RNN はひとつを何度も当てはめます)です。
和の散らばり
それぞれ分散 v を持つ n 個の独立な数を足します。分散は足し合わさります。和の分散は n v なので、その散らばり(標準偏差)は sqrt(n v) です。小さな数:散らばり 1 の入力 100 個の和の散らばりは、100 でも 1 でもなく 10 です。ニューロンは n 個の入力掛ける重みを足し合わせるので、出力の散らばりを 1 の近くに保つには、それぞれの重みに約 1 / sqrt(n) の散らばりが要ります。それがモジュール 6 の始まりの重みの裏の考えです。
行列が何を伸ばすか
行列 A が掛けても、長くなるか短くなるだけで向きが変わらないベクトルがあります。そうしたベクトルが 固有ベクトル で、伸びの倍率がその 固有値 です。ベクトルに何度も何度も A を掛けると、(大きさで)最も大きな固有値の向きが勝ちます。t 回の手順のあと、長さはその固有値の t 乗のように増えるか縮みます。なので最も大きな大きさが 1 を超えれば爆発し、1 未満なら消えていきます。
小さな数:A = [[0.5, 0], [0, 1.2]]。その固有値は 0.5 と 1.2 です。10 回の手順のあと、最初の向きは 0.510、約 0.001 に縮み、2 つ目は 1.210、約 6.2 に増えています。
固有値:行列がひとつの特別な向きをどれだけ伸ばすかです。スペクトル半径:大きさで最も大きな固有値で、繰り返しの掛け算が増えるか消えるかを決めます。
まとめ 分散は足し合わさるので、散らばりは sqrt(n) のように増えます。繰り返しの掛け算は、最も大きな固有値の t 乗のように増えます。
このレッスンの言葉と記号
- ベクトル
- 特徴ごとにひとつの、数のリスト
3 つの手順:
sum_spread(n, sd, trials, seed)を書く:rng = np.random.default_rng(seed)で、散らばり sd の n 個の正規の数の和をtrials個引き、その和の散らばり(np.std)を返す。predictedに、n = 100、sd = 0.5 で規則が与える散らばり(sqrt(n) × sd)を設定する。growth_rate(A, steps=200)を書く:すべて 1 のベクトルから始め、steps回、A を掛けて結果を長さ 1 に縮尺し直す。最後の縮尺し直しの直前にベクトルが持っていた長さを返す。例:A = [[0.5, 0], [0, 1.2]] では答えは 1.2。
手順 3 が動く理由:繰り返しの掛け算は最も大きな伸びを勝たせるので、最後の 1 回の手順の長さは、固有値の関数なしで見つけた、大きさで最も大きな固有値です。(確認は対称な行列を使い、そこではこれがいつも成り立ちます。ほかのいくつかの行列では最も大きな 2 つが複素数の組になり、長さが手順ごとに揺れます。その場合は必要ありません。)
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。