Adam: 공 더하기 손잡이
왜 중요한가 Adam은 대부분의 딥러닝에서 기본 옵티마이저예요. 모멘텀과 RMSProp을 합친 것에, 시작할 때 아주 중요한 작은 보정 하나를 더한 거예요.
작은 숫자부터
가중치 하나, beta1 = 0.9, beta2 = 0.999, lr = 0.1. 1단계의 기울기는 2.0이에요. 기울기의 누적 평균 m은 0에서 시작해요: m = 0.9 * 0 + 0.1 * 2 = 0.2. 하지만 진짜 최근 기울기는 0.2가 아니라 2예요: m은 시작값 0 쪽으로 치우쳐 있어요. (1 - 0.9의 t제곱)으로 나눠서 고치세요: 0.2 / 0.1 = 2.0. 제곱 평균 v에도 같은 보정: 0.004 / 0.001 = 4.0. 걸음 = 0.1 * 2 / sqrt(4) = 0.1.
보정이 없으면 첫 걸음은 0.1 * 0.2 / sqrt(0.004) = 0.32로 세 배 넘게 커지고, 진짜 신경망에서는 그런 거친 첫 걸음이 훈련의 시작을 망칠 수 있어요.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
편향 보정: (1 - beta의 t제곱)으로 나눠서, 0에서 시작한 평균이 초기 걸음에서 과소평가되지 않게 하기. t는 1부터 걸음을 세요.
이 레슨의 단어와 기호
- 모멘텀 (beta)
- 마지막 걸음의 속도 일부를 지니기
- RMSProp
- 각 가중치의 걸음을 그 기울기가 보통 얼마나 시끄러운지로 나누기
- Adam (m, v, t)
- 모멘텀(m) 더하기 가중치별 볼륨 손잡이(v), 초기 걸음에 대해 보정(t)
먼저 first_step_with와 first_step_without을 채우세요: 위의 예시에서 편향 보정이 있을 때와 없을 때 1단계의 크기. 그다음 업데이트된 매개변수 배열을 반환하는 메서드 step(p, g)가 있는 클래스 Adam(lr, b1=0.9, b2=0.999, eps=1e-8)을 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.