中で何が変わったか:波
なぜ大切か Nanda ら(2023)は、剰余の足し算をグロッキングするネットワークが、最後には波でそれを計算するようになることを示しました:それぞれの数がいくつかの円の上の点になり、数を足すことが角度を足すことに変わる。それは完全な仕組みが見つかり、それから確かめられた数少ない場合のひとつです。
それぞれの埋め込みの列を、0 から 22 の数ごとにひとつの 23 の値のリストとして読み、周波数 1 から 11 の波に分けてください(周波数 k の波は 0 から 22 で k 回まわる。この分け方がフーリエ変換)。interp.frequency_shares(emb) が埋め込みのそれぞれの周波数の割合を返します(足して 1)。モデルがいくつかの波を使うなら、いくつかの周波数がそのほとんどを持ちます。均等に広がれば、上位 3 は 3/11 = 0.27 を持つでしょう。
パターンだけでは十分ではありません:interp.keep_frequencies(emb, keep) でいくつかの周波数だけから埋め込みを作り直し、テストの正解率を測ってください。上位 3 が仕組みなら、それだけを保てば正解率のほとんどが保たれ、それだけを取り除けば壊れるはずです。
このレッスンの言葉と記号
- パターン、効果、仕組み
- 3 種類の証拠:見て、見えた。変えて、出力が変わった。説明して、その説明が新しい場合を予測した
- フーリエ変換
- 値のリストを異なる周波数の波に分けること
g = interp.grok_model()(重み減衰 3 の記録した実行の、40,000 ステップのあと)を読み込んでください。top3 をその 3 つの最大の周波数に、top3_share をその合計の割合に、そして 3 つの埋め込みについて test_acc を設定します:'all'、'only top 3'、'all but top 3'。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。