혹으로 만드는 어떤 곡선이든(보편 근사)
왜 중요한가 사람들은 은닉층 하나짜리 신경망이 어떤 곡선이든 맞출 수 있다고 말해요. 여기서 직접 혹으로 만들어 보면서 왜인지 봐요.
보기
아주 가파른 sigmoid는 계단이에요: 왼쪽은 0, 오른쪽은 1. left에서 올라가는 계단과 right에서 내려가는 계단 둘이 혹을 만들어요: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). 그건 은닉 뉴런 둘과 출력 가중치 하나예요. 혹들을 나란히 놓고, 각각 자기 자리에서 곡선만큼 높게 하면, 막대 그래프처럼 어떤 곡선이든 따라 그려요. 뉴런이 많을수록 막대가 얇아지고, 더 가깝게 맞아요.
보편 근사: 뉴런이 충분한 은닉층 하나는 어떤 합리적인 곡선에든 원하는 만큼 가까워질 수 있어요. 그 가중치를 훈련으로 찾기가 얼마나 쉬운지에 대해선 아무것도 말하지 않아요.
요약 뉴런 둘이 혹 하나를 만들고, 혹이 충분하면 무엇이든 만들어요.
이 레슨의 단어와 기호
- 뉴런
- w . x + b, 그다음 활성화
- 가중치 (w, W), 편향 (b)
- 뉴런이 배우는 숫자. 편향은 출력을 옮겨요
- sigmoid
- 1 / (1 + exp(-z)): 어떤 숫자든 0에서 1로 눌러 넣어요
- 은닉층
- 입력과 출력 사이에서 새 특성을 만드는 층
bump(x, left, right, height, s=60)을 쓰고, 그다음 0부터 pi까지를 같은 조각 n_bumps개로 나누고 조각마다 혹을 하나씩, 각각 조각 가운데에서의 f 높이로 더하는 approx(x, f, n_bumps)를 쓰세요. 혹 10개(뉴런 20개)로 0부터 pi까지 sin에 대한 평균 제곱 오차가 0.01 아래여야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.