2 層の順伝播
ニューロンひとつは直線です。それを並べて 層 にし、非線形性を加え、それを別の層に流し込むと、ネットワークはほとんど何にでも合うよう曲がれるようになります。データを層に通して出力を得ることを 順伝播 と呼びます。
層はただの行列の掛け算です。重み行列の各列が、ひとつのニューロンの重みです。numpy では、層全体が x @ W + b になります(@ 演算子は行列の掛け算です)。
層と層の間には非線形な活性化関数を適用します。現代のネットは ReLU(Rectified Linear Unit)を好みます。これは単に max(0, z) で、正の値は残し、負の値はゼロにします。非線形性がなければ、層を積み重ねても結局ひとつの直線に戻ってしまいます。
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerここで numpy を使う理由
このための本物のフレームワークは TensorFlow と PyTorch です。それらはこのレッスンでは動きません。Pyodide はブラウザの中で WebAssembly にコンパイルされた CPython で、それらのライブラリは WebAssembly 版のない重いネイティブの C++ や CUDA/GPU のコードを含んでいるからです。そこで、数行の numpy で 直感 をつかみます。それこそが、順伝播の中身そのものです。フレームワークが加えるのは自動微分、GPU、規模であって、このステップについての新しい考え方ではありません。
形に注目してください。長さ 3 の入力を 3×4 の重み行列に通すと 4 つの隠れ値になり、それを 4×1 の行列に通すとひとつの出力になります。
順伝播を仕上げてください。np.maximum で relu(z) を書き、与えられた重みを使って隠れ層 h = relu(x @ W1 + b1) と出力 out = h @ W2 + b2 を計算します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。