걸어 다닐 수 있는 손실 지형
왜 중요한가 모든 옵티마이저는 볼 수 없는 지형에서 내리막을 걷는 서로 다른 방법이에요. 먼저 단순한 걸 걸어 보세요.
손실을 지형으로 떠올려 보세요: 가중치 둘은 지도 위의 위치이고, 손실은 높이예요. 훈련은 내리막 걷기예요. 기울기는 오르막을 가리키니, 각 걸음은 반대쪽으로 가요: position = position - lr * gradient.
작은 숫자
그릇 f(x, y) = x squared + y squared에서 (3, 4)의 기울기는 (6, 8)이에요. lr 0.1이면 걸음은 (3 - 0.6, 4 - 0.8) = (2.4, 3.2)로 가요. 모든 걸음이 바닥까지 거리의 80%를 남기니, 20걸음 뒤엔 출발한 곳의 약 1%에 있어요.
학습률: 기울기에 비해 얼마나 멀리 걸을지. 너무 작으면 기어가고, 너무 크면 지나쳐요.
요약 기울기 반대로 걸으세요. 학습률이 보폭을 정해요.
방문한 위치의 리스트(시작 포함)를 NumPy 배열로 반환하는 descend(grad, start, lr, steps)를 쓰세요. 그다음 레슨의 그릇에서 (3, 4)에서 시작해 많아야 15걸음 안에 바닥에서 0.01 안에 들도록 my_lr을 고르세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.