学習用とテスト用への分割:正直な測定
これが機械学習でいちばん大切な習慣です。モデルを学習させて同じデータでテストしても、役に立つことは何もわかりません。モデルは、すでに見た答えを暗記するだけで満点を取れてしまいます。それは、学生が勉強したのとまったく同じ問題で採点するようなものです:測っているのは理解ではなく記憶です。
直し方は、データの一部を取っておくことです。大部分で学習させ、それからモデルが一度も見たことのない行でテストします。テストでの性能が、本物の未来のデータでどれくらいうまくいくかの正直な見積もりです。
scikit-learn にはこのための関数が 1 つあります:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0
)これは 4 つの部品を、いつもこの順番で返します:学習用の特徴量、テスト用の特徴量、学習用のラベル、テスト用のラベル。大切な引数が 2 つあります:
test_size=0.2は 20 パーセントをテスト用に取っておき、80 パーセントを学習用に残します。random_state=0はシャッフルを固定するので、毎回同じ分割が得られます。これがないと分割は毎回ランダムになり、結果がぶれて確かめられなくなります。このコースではずっと、必ずrandom_state=0を渡してください。
ここからは厳しいルールです:学習には学習用のデータを使ってかまいませんが、採点は必ずテスト用のデータだけで行います。モデルが学習したデータで出したスコアは、決して報告しないでください。
配列 X(10 行 2 列)と y(10 個のラベル)が与えられています。test_size=0.2 と random_state=0 を付けて train_test_split を使い、X_train, X_test, y_train, y_test を得てください。それから n_train を学習用の行数に、n_test をテスト用の行数にしてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。