余地より多い特徴:重ね合わせ
なぜ大切か どのユニットもひとつのことを意味するなら、ネットワークを読むのは簡単でしょう。たいていそうではなく、Elhage ら(2022)のおもちゃのモデルがその理由を見せます:特徴がめったに同時にオンにならない限り、ネットワークは持っている数より多くの特徴を保存できるのです。
おもちゃ:5 つの特徴、それぞれほとんどの時間は 0 で、そうでなければ 0 と 1 の間の数。行列 W(2 × 5)がそれらをたった 2 つの数に押し込み、h = W x、モデルはそれを relu(WT h + b) として読み戻します。特徴 i は損失の中で 0.9i だけ大切です(特徴 0 が最も)。W の列 i は特徴 i が保存される向きで、0 に近い列はその特徴が捨てられたことを意味します。
interp.superposition(sparsity=s) がそれを訓練します(s = それぞれの特徴が 0 である確率)。interp.stored(W) は保った特徴を、interp.angles(W) はその間の角度を挙げます。
まず予測してください:特徴がめったにオンにならないとき(スパース度 0.97)、2 つの数は 5 つのうちいくつを保てるか?
このレッスンの言葉と記号
- 重ね合わせ
- めったに同時にオンにならない向きとして、数の数より多くの特徴を保存すること
my_guess を 2 から 5 の数に設定してください。スパース度 0、0.7、0.97(シード 0)で訓練し、kept[s] を保存した特徴の数で、smallest_angle[s] を保存した 2 つの特徴の間の最小の角度で埋めてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。