강의 계획 레슨 250개 중 105번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

자동 미분 엔진 만들기

기울기 하나를 손으로 계산하고 기울기 확인을 했어요. 진짜 네트워크에는 매개변수가 수백만 개 있으니, 각각을 손으로 유도할 수 없어요. 딥러닝을 가능하게 하는 요령은 자동 미분이에요: 모든 값이 자기가 어떻게 계산됐는지 기억하고, 기울기가 그 기록을 따라 자동으로 거꾸로 흘러요. 이제 그 엔진을 몇 줄로 만들 거예요. PyTorch와 Karpathy의 micrograd 속에 있는 바로 그 생각이에요.

단위는 Value예요: 자기 기울기와, 입력으로 기울기를 미는 법을 아는 작은 함수도 저장하는 숫자. Value 두 개를 더하거나 곱하면 결과가 부모를 기록해요. 아래 발판은 __init__과 그래프를 올바른 순서로 걷는 backward()(위상 정렬, 그다음 출력에서 거꾸로 연쇄 법칙)를 줘요. 여러분은 두 국소 기울기를 구현해요, 그게 레슨 전체예요:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

덧셈은 들어오는 기울기를 두 입력에 그대로 베낄 뿐이에요. 곱셈에서 연쇄 법칙이 물어요: d(a*b)/da = b이고 d(a*b)/db = a, 각각 위에서 흘러 들어오는 기울기(out.grad)를 곱해요. =가 아니라 +=인 걸 보세요: 여러 곳에서 쓰인 값은 각각에서 기울기를 쌓아요.

__add__와 __mul__을 완성해서 그 _backward 클로저가 올바른 국소 기울기를 정하게 하세요. 숨은 테스트가 식을 만들고, .backward()를 부르고, 모든 결과를 유한 차분과 대조해 기울기 확인을 하니, 틀린 규칙은 통과할 수 없어요. Run을 눌러 a*b + a를 통해 역전파하세요.

내 차례

역전파가 올바르도록 Value 클래스의 __add__와 __mul__을 완성하세요. __add__의 _backward에서는 out.grad를 self.grad와 other.grad 둘 다에 더하세요(국소 도함수 1). __mul__의 _backward에서는 other.data * out.grad를 self.grad에, self.data * out.grad를 other.grad에 더하세요(곱의 법칙). 다시 쓰인 값이 기울기를 쌓도록 +=를 쓰세요. 주어진 backward()가 순서를 다뤄요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.