学習不足と過学習
これは機械学習全体の中心にある緊張関係で、今やそれを直接見る道具がそろいました。モデルは正反対の 2 つの形で失敗しえます。
- 学習不足:モデルが単純すぎてパターンをとらえられません。学習用データでもテスト用データでも成績が悪くなります。はっきり曲がっているデータに直線を引くところを思い浮かべてください。
- 過学習:モデルが複雑すぎて、ノイズや癖まで含めて学習用データを暗記してしまいます。一般的なルールではなく特定の例を学んだので、学習では高得点なのにテストでは悪くなります。
決定木の複雑さは max_depth、つまり許される質問の層の数で制御します:
shallow = DecisionTreeClassifier(max_depth=1, random_state=0) # too simple
deep = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited深さ 1 の木は質問を 1 つしかできないので、大ざっぱにならざるをえず、学習不足になりがちです。深さ無制限の木は学習用の行が切り分けられるまで分割し続けるので、学習での正解率を完璧な 1.0 まで押し上げられますが、見たことのないテストの行では悪くなります。
過学習の決定的な兆候は差です:学習での正解率がテストでの正解率よりずっと高いのです。モデルを調整する技術とは、ひとえに、テスト用データでうまくいく中くらいの複雑さを見つけることです。数えるべきスコアはそれだけです。
浅い木と深い木の両方を学習させ、それぞれの学習とテストの正解率を記録し、過学習の差を計算して、関係が数字にそのまま表れるようにします。
ノイズのあるデータセットと、学習用とテスト用の分割がすでに用意されています。学習用データで shallow = DecisionTreeClassifier(max_depth=1, random_state=0) と deep = DecisionTreeClassifier(max_depth=None, random_state=0) を学習させてください。4 つの数を記録します:shallow_train、shallow_test、deep_train、deep_test(それぞれの木の、対応するデータでの正解率)。それから overfit_gap = deep_train - deep_test としてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。