ロジスティック回帰と確率
決定木はラベルを返しました。でも実際のシステムでは、たいてい「迷惑メール」か「迷惑メールでない」か以上のものが必要です -> モデルがどれくらい確信しているかが必要なのです。そうすれば、しきい値を設けたり、確信がないときは判断を控えたり、確信のあるものを自動的に振り分けたりできます。そのための働き者のモデルがロジスティック回帰で、名前とは裏腹に、回帰ではなく分類器です。
その背後にある考えは 1 つです。線形モデルは特徴量の重み付きの和を計算し、それはマイナス無限大からプラス無限大までどんな数にもなりえます。ロジスティック回帰はその数を sigmoid 関数に通して、0 と 1 のあいだの確率に押し込みます:
sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018 z = 0 -> 0.5 z = 4 -> 0.982だからモデルは P(class = 1) を出力します。0.5 より上ならクラス 1、下ならクラス 0 と予測し、0.5 に近い値はモデルが「確信がない」と言っているのです。この 1 つの数こそ、このコースで出てくる確信度のしきい値や振り分けの技がすべてよりどころにしているものです。
コードは決定木と同じ fit/predict の儀式で、新しいメソッドが 1 つだけ加わります。predict_proba は、確定したラベルの代わりに確率を返します:
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X) # hard labels: 0 or 1
clf.predict_proba(X) # one [P(0), P(1)] row per sample, each row sums to 1小さくて直感的なデータセットで学習させます:勉強した時間と、学生が合格したかどうかです。勉強時間が少ない -> 不合格(0)、多い -> 合格(1)。パターンが単調なので、学習したモデルは、より長く勉強した人により高い合格の確率を与えるはずです。predict_proba の 2 つの列は、clf.classes_(ここでは [0, 1])の順に P(class 0) と P(class 1) なので、列のインデックス 1 が合格の確率です。
特徴量が 1 つのデータセット、勉強した時間 hours と passed(0 か 1)が与えられています。(1) LogisticRegression() を作り、X, y で fit してください。(2) X の確定したラベルを preds に保存してください。(3) predict_proba を使って、2 時間勉強したときの合格(クラス 1)の確率を p_low に、7 時間のときを p_high に保存してください。モデルは p_high > p_low となるくらいの確信を持っているはずで、どちらも 0 と 1 のあいだの本物の確率です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。