モデルが学ぶ仕組み
できたばかりのネットワークはランダムな重みを持っていて、役に立ちません。学習(訓練) とは、出力が良くなるまでその重みを少しずつ動かしていく過程です。2 つの考え方がそれを動かします。
1. 損失関数が間違いの大きさを測る
予測がどれだけ悪いかを表すひとつの数が必要です。回帰でまず使われるのは 平均二乗誤差(MSE)で、正解と予測のずれを二乗して平均します。
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))二乗することで、大きな外れほど強く罰せられ、すべてが正の値に保たれます。損失は低いほど良く、損失ゼロは完璧な当てはまりを意味します。
2. 勾配降下法は坂を転がり下りる
損失を起伏のある地形、重みをその上でのあなたの位置だと想像してください。勾配 は傾きです。それは上り坂、つまり損失が増える方向を指します。だから損失を減らすには、反対 の方向に小さく一歩進みます。
w = w - learning_rate * gradient学習率 は歩幅です。これを何千回も繰り返すと、重みは損失の低い谷へと転がり下りていきます。学習とは、このループがすべてです。
MSE を使うおもちゃのモデル y = w * x では、w に関する損失の勾配は mean(2 * (w*x - y) * x) になります。ちょうど一歩だけ進み、損失が下がるのを見てみましょう。
1 つの重みからネットワーク全体へ
前のレッスンで作った 2 層のネットワークには、重みがひとつではなくたくさんあります。それを学習させるとは、すべての 重みに関する損失の勾配を、層ごとに求めることです。それが 誤差逆伝播法(バックプロパゲーション) です。損失から始めて、各層を逆向きに連鎖律を適用してすべての重みの傾きを得て、そのすべてに同じ下り坂の一歩を一度に適用します。計算は重くなりますが、考え方は下で行う一歩とまったく同じです。本物のコードでは手で導くことはありません。PyTorch のようなフレームワークは順伝播を記録し、loss.backward() を一度呼ぶだけですべての勾配を計算してくれます。ここでは仕組みを具体的に保つため、重みひとつの版を行います。
mse(y_true, y_pred)(差の二乗の平均)を実装してください。次に、おもちゃのモデル y = w * x について loss_before を計算し、grad = np.mean(2 * (w*x - y) * x) と w = w - lr * grad を使って勾配降下法の一歩を進め、それから loss_after を計算します。損失は下がらなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。