자동 미분 엔진 만들기
기울기 하나를 손으로 계산하고 기울기 확인을 했어요. 진짜 네트워크에는 매개변수가 수백만 개 있으니, 각각을 손으로 유도할 수 없어요. 딥러닝을 가능하게 하는 요령은 자동 미분이에요: 모든 값이 자기가 어떻게 계산됐는지 기억하고, 기울기가 그 기록을 따라 자동으로 거꾸로 흘러요. 이제 그 엔진을 몇 줄로 만들 거예요. PyTorch와 Karpathy의 micrograd 속에 있는 바로 그 생각이에요.
단위는 Value예요: 자기 기울기와, 입력으로 기울기를 미는 법을 아는 작은 함수도 저장하는 숫자. Value 두 개를 더하거나 곱하면 결과가 부모를 기록해요. 아래 발판은 __init__과 그래프를 올바른 순서로 걷는 backward()(위상 정렬, 그다음 출력에서 거꾸로 연쇄 법칙)를 줘요. 여러분은 두 국소 기울기를 구현해요, 그게 레슨 전체예요:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return out덧셈은 들어오는 기울기를 두 입력에 그대로 베낄 뿐이에요. 곱셈에서 연쇄 법칙이 물어요: d(a*b)/da = b이고 d(a*b)/db = a, 각각 위에서 흘러 들어오는 기울기(out.grad)를 곱해요. =가 아니라 +=인 걸 보세요: 여러 곳에서 쓰인 값은 각각에서 기울기를 쌓아요.
__add__와 __mul__을 완성해서 그 _backward 클로저가 올바른 국소 기울기를 정하게 하세요. 숨은 테스트가 식을 만들고, .backward()를 부르고, 모든 결과를 유한 차분과 대조해 기울기 확인을 하니, 틀린 규칙은 통과할 수 없어요. Run을 눌러 a*b + a를 통해 역전파하세요.
역전파가 올바르도록 Value 클래스의 __add__와 __mul__을 완성하세요. __add__의 _backward에서는 out.grad를 self.grad와 other.grad 둘 다에 더하세요(국소 도함수 1). __mul__의 _backward에서는 other.data * out.grad를 self.grad에, self.data * out.grad를 other.grad에 더하세요(곱의 법칙). 다시 쓰인 값이 기울기를 쌓도록 +=를 쓰세요. 주어진 backward()가 순서를 다뤄요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.