강의 계획 레슨 246개 중 73번째 · 모듈 5: 최적화
모듈 5: 최적화

학습률을 빨리 찾고, 튀는 걸 자르기

왜 중요한가 학습률을 추측하면 며칠을 낭비해요. 짧은 실행 하나가 좋은 학습률을 알려 줘요. 그리고 걸음에 상한을 두지 않으면 나쁜 배치 하나가 실행을 폭발시킬 수 있어요.

범위 시험

몇백 걸음 동안 매 걸음 학습률을 아주 작은 값에서 엄청난 값까지 조금씩 올리면서 훈련하고, 손실을 기록하세요. 처음엔 아무 일도 없고, 그다음 손실이 빠르게 떨어지고, 그다음 폭발해요. 좋은 학습률은 손실이 가장 빠르게 떨어지던 곳, 폭발보다 조금 아래에 있어요. 흔한 규칙: 손실이 가장 낮았던 학습률을 가져와서 10으로 나누세요.

클리핑

기울기의 전체 크기(그 길이, 또는 노름)가 한도를 넘으면, 기울기 전체를 그 길이로 줄이세요. 방향은 유지되고, 드물게 엄청난 걸음만 길들여져요.

기울기 노름: 모든 기울기를 긴 벡터 하나로 본 길이: 그 제곱의 합의 제곱근.

이 레슨의 단어와 기호
기울기 노름, 클리핑
기울기의 전체 크기, 그리고 그것에 상한 두기
내 차례

pick_lr(lrs, losses)를 쓰세요: 손실이 가장 낮았던 학습률을 10으로 나눈 것. 그리고 clip(grads, max_norm): grads는 배열의 리스트예요. 합친 노름이 max_norm을 넘으면 노름이 max_norm과 같도록 모두 크기를 바꿔 반환하고, 아니면 바꾸지 않고 반환하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.