강의 계획 레슨 246개 중 38번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

관문: 코드로 하는 수학(AI 끄기)

왜 중요한가 이 모듈의 세 조각이 뒤의 모든 모듈에 돌아와요: 큰 숫자를 견디는 softmax, 행렬 곱셈의 기울기, KL 발산. 이 수학을 이미 아나요? 다른 레슨 전에 이 관문을 먼저 볼 수 있어요: 통과하면 이 모듈이 완료로 표시되고 다음 모듈이 열려요.

AI 튜터는 꺼져 있어요. softmax에는 이동 요령을 쓰세요: 모든 점수에서 가장 큰 점수를 빼도 종이 위에서는 아무것도 바뀌지 않지만, 모든 exp를 많아야 1로 지켜요. 실제 로짓은 클 수 있고, 큰 입력에 nan을 반환하는 softmax는 훈련 실행을 조용히 망쳐요.

이 레슨의 단어와 기호
도함수 (df/dx)
입력을 단위만큼 밀 때 출력이 얼마나 빨리 바뀌는지
softmax
각 점수의 exp를 합계로 나누기: 점수가 확률이 돼요
교차 엔트로피
맞는 답에 준 확률의 로그에 마이너스를 붙인 것
KL(P || Q)
두 분포가 얼마나 다른지. 같을 때만 0이고, 순서가 중요해요
내 차례

로짓의 2D 배열(예시마다 행 하나)에 대해 다음을 쓰세요:

  • logsumexp(z): 각 행을 따라 exp의 합의 로그, 거대한 값에도 안전하게.
  • stable_softmax(z): 각 행을 따라 softmax, 거대한 값에도 안전하게.
  • nll(z, labels): softmax의 로그를 결코 취하지 않고, 로짓에서 바로 logsumexp - z[true]로 계산한 평균 교차 엔트로피.
  • matmul_grads(X, W, G): Y = X @ W이고 Y에 대한 기울기가 G인 손실에 대해, 야코비안을 만들지 않고 X와 W에 대한 기울기 (dX, dW)를 반환하세요.
  • kl_normal(m1, s1, m2, s2): 종 모양 곡선 N(m1, s1)에서 N(m2, s2)로의 KL 발산, s1과 s2는 퍼짐(표준 편차)이에요.

확인은 매번 새 무작위 모양과 숫자를 쓰고, 살짝 밀기와 수치 적분과 비교해요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

코드 · 브라우저에서 실행
출력

        

진행 상황은 익명으로 집계돼요. 바꾸기