シラバス レッスン 246 中 226 · モジュール 21:モデルの中を見る
モジュール 21:モデルの中を見る

グロッキング:まず丸暗記、あとで理解

なぜ大切か Power ら(2022)は、ネットワークが完璧な訓練の正解率に届き、長いあいだテストのデータでは偶然のままで、それから突然一般化するのを見ました。それは、中を見ることが損失の曲線にできなかったことを説明した最もはっきりした場合です。

課題:a + b を 23 で割った余り(23 で割ったあとの余り。なので 20 + 5 は 2)。23 x 23 = 529 の和があり、モデルはランダムな半分で訓練され、もう半分で試されます。それぞれの数は 32 の埋め込みを得ます。2 つの埋め込みは 128 のひとつの ReLU の層を通り、23 の点数へ出ます。どのステップでも半分全体で、AdamW(モジュール 5)で訓練します。

1,500 ステップのあいだライブで訓練し、それからコースの記録した 40,000 ステップの実行(ノートパソコンでそれぞれ約 11 秒、レッスンには長すぎる)を、重み減衰 3 となしで読みます。

まず予測してください:1,500 ステップのあと、訓練の正解率は 100% でしょう。テストの正解率は何でしょうか?

このレッスンの言葉と記号
グロッキング
訓練の正解率が完璧になってからずっとあとに、テストの正解率が上がること
あなたの番

my_guess を "near 0"、"near 50%"、"near 100%" のどれかに設定してください。1,500 ステップ訓練し、live を (訓練の正解率, テストの正解率) で埋めます。runs = interp.recorded()['grok'] から、それぞれの実行の 'curve' は行 (step, 訓練の正解率, テストの正解率, 上位 3 の割合) を持ちます:half_way を重み減衰 3 でテストの正解率が 0.5 に届く最初のステップに、final_test をそれぞれの実行の最後のテストの正解率に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。