강의 계획 레슨 246개 중 70번째 · 모듈 5: 최적화
모듈 5: 최적화

Adam: 공 더하기 손잡이

왜 중요한가 Adam은 대부분의 딥러닝에서 기본 옵티마이저예요. 모멘텀과 RMSProp을 합친 것에, 시작할 때 아주 중요한 작은 보정 하나를 더한 거예요.

작은 숫자부터

가중치 하나, beta1 = 0.9, beta2 = 0.999, lr = 0.1. 1단계의 기울기는 2.0이에요. 기울기의 누적 평균 m은 0에서 시작해요: m = 0.9 * 0 + 0.1 * 2 = 0.2. 하지만 진짜 최근 기울기는 0.2가 아니라 2예요: m은 시작값 0 쪽으로 치우쳐 있어요. (1 - 0.9의 t제곱)으로 나눠서 고치세요: 0.2 / 0.1 = 2.0. 제곱 평균 v에도 같은 보정: 0.004 / 0.001 = 4.0. 걸음 = 0.1 * 2 / sqrt(4) = 0.1.

보정이 없으면 첫 걸음은 0.1 * 0.2 / sqrt(0.004) = 0.32로 세 배 넘게 커지고, 진짜 신경망에서는 그런 거친 첫 걸음이 훈련의 시작을 망칠 수 있어요.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

편향 보정: (1 - beta의 t제곱)으로 나눠서, 0에서 시작한 평균이 초기 걸음에서 과소평가되지 않게 하기. t는 1부터 걸음을 세요.

이 레슨의 단어와 기호
모멘텀 (beta)
마지막 걸음의 속도 일부를 지니기
RMSProp
각 가중치의 걸음을 그 기울기가 보통 얼마나 시끄러운지로 나누기
Adam (m, v, t)
모멘텀(m) 더하기 가중치별 볼륨 손잡이(v), 초기 걸음에 대해 보정(t)
내 차례

먼저 first_step_with와 first_step_without을 채우세요: 위의 예시에서 편향 보정이 있을 때와 없을 때 1단계의 크기. 그다음 업데이트된 매개변수 배열을 반환하는 메서드 step(p, g)가 있는 클래스 Adam(lr, b1=0.9, b2=0.999, eps=1e-8)을 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.