늘어난 그릇이 왜 느린가(조건화)
왜 중요한가 진짜 손실 지형은 어떤 방향으로는 가파르고 다른 방향으로는 거의 평평해요. 가중치의 수가 아니라 그 불일치가 평범한 경사 하강법을 느리게 해요.
보기
f = (k x squared + y squared) / 2를 보세요. k = 1이면 둥근 그릇이에요. k = 100이면 길고 좁은 골짜기예요: 가로질러서는 가파르고, 따라가서는 완만해요. 학습률은 두 방향 모두에 한꺼번에 맞아야 해요. 가장 좋은 단일 선택 lr = 2 / (k + 1)은 각 걸음이 두 방향 모두에서 거리의 (k - 1) / (k + 1)을 남기게 해요: k = 100이면 0.98. 더 크면 가파른 방향이 지나쳐서 더 천천히 자리 잡고(2 / k를 넘으면 끝없이 커져요), 더 작으면 완만한 방향이 더 느리게 기어요. 그래서 걸음은 골짜기를 따라 기어가는 동안 골짜기를 가로질러 지그재그해요.
조건수: 가장 가파른 곡률 대 가장 완만한 곡률의 비율, 여기서는 k. 평범한 경사 하강법은 좋은 진전을 위해 대략 k걸음이 필요해요.
곡선 맞히기: 실행하기 전에, 가장 좋은 고정 학습률 2 / (k + 1)을 써서 k = 1, 10, 100에 대해 바닥에서 0.001 안에 드는 데 몇 걸음 걸리는지 예측하세요.
요약 늘임은 늘인 만큼 비례해서 평범한 하강을 늦춰요.
이 레슨의 단어와 기호
- 조건수
- 가장 가파른 방향이 가장 완만한 방향보다 얼마나 더 가파른지
my_guess(걸음 수 셋)를 채우고, 그다음 steps_to_converge(k)를 쓰세요: (1, 1)에서 시작해서 lr = 2 / (k + 1)을 쓰고, (0, 0)까지 거리가 0.001 아래가 될 때까지 걸음을 세세요(100,000에서 멈추세요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.