강의 계획 레슨 250개 중 100번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

두 층 순전파

뉴런 하나는 직선이에요. 그것들로 층을 쌓고, 비선형성을 더하고, 그다음 또 다른 층에 먹이면 네트워크는 거의 무엇에든 맞게 휠 수 있어요. 데이터를 층에 통과시켜 출력을 얻는 걸 순전파라고 해요.

층은 행렬 곱셈일 뿐이에요: 가중치 행렬의 각 열이 뉴런 하나의 가중치예요. numpy로는 층 전체가 x @ W + b예요(@ 연산자는 행렬 곱셈이에요).

층 사이에 비선형 활성화를 적용해요. 현대 신경망은 ReLU(Rectified Linear Unit)를 좋아해요. 그냥 max(0, z)예요: 양수는 지키고, 음수는 0으로. 비선형성이 없으면 층을 쌓아도 직선 하나로 다시 무너져요.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

왜 여기서 numpy로 하나

이걸 위한 진짜 프레임워크는 TensorFlow와 PyTorch예요. 이 레슨에서는 돌 수 없어요: Pyodide는 브라우저 속 WebAssembly로 컴파일한 CPython이고, 그 라이브러리들은 WebAssembly 빌드가 없는 무거운 네이티브 C++와 CUDA/GPU 코드를 싣고 있어요. 그래서 numpy 몇 줄로 직관을 얻어요. 그게 바로 순전파의 속이에요. 프레임워크는 자동 미분, GPU, 규모를 더하지, 이 단계에 관한 새 생각을 더하지는 않아요.

모양을 보세요: 길이 3 입력이 3x4 가중치 행렬을 지나면 은닉 값 4개가 되고, 4x1 행렬을 지나면 출력 하나가 돼요.

내 차례

순전파를 마무리하세요. np.maximum으로 relu(z)를 쓰고, 주어진 가중치로 은닉층 h = relu(x @ W1 + b1)와 출력 out = h @ W2 + b2를 계산하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.