강의 계획 레슨 246개 중 45번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

혹으로 만드는 어떤 곡선이든(보편 근사)

왜 중요한가 사람들은 은닉층 하나짜리 신경망이 어떤 곡선이든 맞출 수 있다고 말해요. 여기서 직접 혹으로 만들어 보면서 왜인지 봐요.

보기

아주 가파른 sigmoid는 계단이에요: 왼쪽은 0, 오른쪽은 1. left에서 올라가는 계단과 right에서 내려가는 계단 둘이 혹을 만들어요: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). 그건 은닉 뉴런 둘과 출력 가중치 하나예요. 혹들을 나란히 놓고, 각각 자기 자리에서 곡선만큼 높게 하면, 막대 그래프처럼 어떤 곡선이든 따라 그려요. 뉴런이 많을수록 막대가 얇아지고, 더 가깝게 맞아요.

보편 근사: 뉴런이 충분한 은닉층 하나는 어떤 합리적인 곡선에든 원하는 만큼 가까워질 수 있어요. 그 가중치를 훈련으로 찾기가 얼마나 쉬운지에 대해선 아무것도 말하지 않아요.

요약 뉴런 둘이 혹 하나를 만들고, 혹이 충분하면 무엇이든 만들어요.

이 레슨의 단어와 기호
뉴런
w . x + b, 그다음 활성화
가중치 (w, W), 편향 (b)
뉴런이 배우는 숫자. 편향은 출력을 옮겨요
sigmoid
1 / (1 + exp(-z)): 어떤 숫자든 0에서 1로 눌러 넣어요
은닉층
입력과 출력 사이에서 새 특성을 만드는 층
내 차례

bump(x, left, right, height, s=60)을 쓰고, 그다음 0부터 pi까지를 같은 조각 n_bumps개로 나누고 조각마다 혹을 하나씩, 각각 조각 가운데에서의 f 높이로 더하는 approx(x, f, n_bumps)를 쓰세요. 혹 10개(뉴런 20개)로 0부터 pi까지 sin에 대한 평균 제곱 오차가 0.01 아래여야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.