シラバス レッスン 246 中 87 · モジュール 7:新しいデータで働く
モジュール 7:新しいデータで働く

バイアスとバリアンス、そして事前分布としての重み減衰

なぜ大切か 過学習は隔たりとして現れます:新しいデータでの誤差よりはるかに低い訓練の誤差。そうしたどの隔たりの裏にも、2 つの測れる原因があり、それぞれ違う治療が要ります。

同じ出どころから新しい訓練のセットを 5 つ引き、それぞれに同じ種類のモデルを合わせます。ひとつの点での 5 つの予測を見てください:

  • すべて一致するがすべて同じやり方で間違っているなら:高いバイアス(単純すぎ)。
  • 互いにひどく食い違うなら:高いバリアンス(柔軟すぎ、それぞれのセットの雑音を追っている)。

バリアンスは、訓練のデータが変わるとモデルがどれだけ変わるかです。高いバリアンスは過学習のふつうの原因ですが、2 つの言葉は同じものではありません:過学習は見える隔たりで、バリアンスはその裏で測れるもののひとつです。

事前分布としての重み減衰

重み減衰は損失に alpha * (sum of weights squared) を足します。確率の言葉では、データを見る前に「小さな重みのほうがありそうだと信じる」と言っています。その信念が荒れた当てはめを穏やかなものへ引き寄せ、少しのバイアスと引き換えにバリアンスを下げます。多項式の当てはめでは、リッジ回帰という正確な解があります:w = solve(A.T A + alpha I, A.T y)、A は x の累乗を持ちます。

事前分布:データを見る前に重みについて信じていることです。重み減衰は小さな重みを好む事前分布です。

このレッスンの言葉と記号
過学習、未学習
訓練のデータの雑音に合わせること。またはパターンに合わせるには単純すぎること
バイアス、バリアンス
毎回同じやり方で間違えること。または訓練のデータとともに大きく変わること
事前分布
データを見る前に重みについて信じていること
リッジ (alpha)
強さ alpha の重み減衰付きの最小二乗法
あなたの番

係数(最も低い累乗が先、上の式を使う)を返す ridge_poly(x, y, deg, alpha) と、spread_at_half(deg, alpha):5 つの訓練のセット(シード 0 から 4、それぞれ 20 の点、make_set で作る)に合わせ、x = 0.5 での 5 つの予測の標準偏差を返すものを書いてください。それから high_variance に、次数 1、3、12(alpha 0)のうち散らばりが最も大きいものを設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。