강의 계획 레슨 246개 중 64번째 · 모듈 5: 최적화
모듈 5: 최적화

걸어 다닐 수 있는 손실 지형

왜 중요한가 모든 옵티마이저는 볼 수 없는 지형에서 내리막을 걷는 서로 다른 방법이에요. 먼저 단순한 걸 걸어 보세요.

손실을 지형으로 떠올려 보세요: 가중치 둘은 지도 위의 위치이고, 손실은 높이예요. 훈련은 내리막 걷기예요. 기울기는 오르막을 가리키니, 각 걸음은 반대쪽으로 가요: position = position - lr * gradient.

작은 숫자

그릇 f(x, y) = x squared + y squared에서 (3, 4)의 기울기는 (6, 8)이에요. lr 0.1이면 걸음은 (3 - 0.6, 4 - 0.8) = (2.4, 3.2)로 가요. 모든 걸음이 바닥까지 거리의 80%를 남기니, 20걸음 뒤엔 출발한 곳의 약 1%에 있어요.

학습률: 기울기에 비해 얼마나 멀리 걸을지. 너무 작으면 기어가고, 너무 크면 지나쳐요.

요약 기울기 반대로 걸으세요. 학습률이 보폭을 정해요.

내 차례

방문한 위치의 리스트(시작 포함)를 NumPy 배열로 반환하는 descend(grad, start, lr, steps)를 쓰세요. 그다음 레슨의 그릇에서 (3, 4)에서 시작해 많아야 15걸음 안에 바닥에서 0.01 안에 들도록 my_lr을 고르세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.