シラバス レッスン 250 中 100 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

2 層の順伝播

ニューロンひとつは直線です。それを並べて 層 にし、非線形性を加え、それを別の層に流し込むと、ネットワークはほとんど何にでも合うよう曲がれるようになります。データを層に通して出力を得ることを 順伝播 と呼びます。

層はただの行列の掛け算です。重み行列の各列が、ひとつのニューロンの重みです。numpy では、層全体が x @ W + b になります(@ 演算子は行列の掛け算です)。

層と層の間には非線形な活性化関数を適用します。現代のネットは ReLU(Rectified Linear Unit)を好みます。これは単に max(0, z) で、正の値は残し、負の値はゼロにします。非線形性がなければ、層を積み重ねても結局ひとつの直線に戻ってしまいます。

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

ここで numpy を使う理由

このための本物のフレームワークは TensorFlow と PyTorch です。それらはこのレッスンでは動きません。Pyodide はブラウザの中で WebAssembly にコンパイルされた CPython で、それらのライブラリは WebAssembly 版のない重いネイティブの C++ や CUDA/GPU のコードを含んでいるからです。そこで、数行の numpy で 直感 をつかみます。それこそが、順伝播の中身そのものです。フレームワークが加えるのは自動微分、GPU、規模であって、このステップについての新しい考え方ではありません。

形に注目してください。長さ 3 の入力を 3×4 の重み行列に通すと 4 つの隠れ値になり、それを 4×1 の行列に通すとひとつの出力になります。

あなたの番

順伝播を仕上げてください。np.maximum で relu(z) を書き、与えられた重みを使って隠れ層 h = relu(x @ W1 + b1) と出力 out = h @ W2 + b2 を計算します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。