二重降下
なぜ大切か 教科書の規則「パラメーターが多いほど過学習が多い」は、大きなモデルでは崩れます。その理由を見ると、モデルの大きさについての考え方が変わります。
見てみる
アニメーションを再生してください。使える 400 の特徴のうち最初の p だけを使って 40 の訓練の点に合わせ、正確な当てはめの中から重みが最も小さなものを選びます。p が訓練の点の数(40)へ向かって増えるにつれ、テストの誤差は、ゆっくり、それから急に、2 つが等しいまさにそこで山へ登ります。そこではモデルはすべての訓練の点に当たるのにちょうど足りる自由を持ち、それをするやり方はひとつだけで、たいてい荒れたものです。山を過ぎると多くの正確な当てはめがあり、重みが最も小さなものを選ぶと穏やかな当てはめになります:テストの誤差はまた下がり、十分な特徴があれば小さなモデルより低く終わります。
補間のしきい値:モデルが訓練のデータにちょうど正確に合わせられる大きさです。二重降下はそこで山になります。
曲線を当てる:テストの誤差が最も高くなる特徴の数と、p = 400 が p = 5 に勝つかどうかを予測してください。
数を正直に読む
このおもちゃは、良く予測するためではなく、曲線の形を見せるために作られています。その信号は 400 の特徴すべてに薄く広がり、訓練の点は 40 しかないので、ここのどのモデルも貧弱です:すべてに 0 を予測すると、テストの誤差の中央値は約 1.01、p = 5 は約 1.11、p = 400 は約 0.91 です。p = 40 の山は約 36 です。2 度目の降下は本物ですが、「何も予測しない」より少し下に着くだけです。
山にはすでに知っている治療もあります。重みが最も小さな正確な当てはめの代わりに、検証のデータで強さを選んだ重み減衰(リッジ)は、p = 40 も含め(約 1.02)、どの大きさでも誤差を 1.0 の近くに保ちます。二重降下は正確な当てはめに起こることで、調整した正則化が突起を取り除きます。
このレッスンの言葉と記号
- 過学習、未学習
- 訓練のデータの雑音に合わせること。またはパターンに合わせるには単純すぎること
- リッジ (alpha)
- 強さ alpha の重み減衰付きの最小二乗法
- 補間のしきい値
- 訓練のデータにちょうど正確に合わせられるモデルの大きさ
my_peak と my_400_beats_5 を埋めてください。それから test_error(p) を書きます:シード 0 から 19 について np.linalg.pinv(X[:, :p]) @ y で合わせ、テストの平均二乗誤差を測り、シードの上の中央値を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。