강의 계획 레슨 246개 중 44번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

활성화: 층 사이의 휨

왜 중요한가 층 사이에 휨이 없으면 열 층도 한 층보다 똑똑하지 않아요. 휨의 선택은 기울기가 흐를 수 있는지도 정해요.

어디서나 만날 활성화 셋:

  • ReLU: max(0, z). 싸고, 양수 입력에서 기울기가 정확히 1이라 기울기가 줄지 않고 통과해요. 음수에서는 기울기 0.
  • tanh: -1에서 1로, 0을 중심으로 눌러 넣어요. 0에서 기울기 1이지만 큰 입력에서는 거의 0이에요: 포화돼요.
  • GELU: 트랜스포머에서 쓰는 매끄러운 ReLU, 대략 z 곱하기 sigmoid(1.702 z).

왜 기울기가 중요한지

역전파는 각 활성화의 기울기를 곱해요. 0에 가까운 기울기(포화된 tanh, 또는 음수 입력의 ReLU)는 기울기를 막아요. 모듈 6에서 그게 진짜 훈련 실패를 일으키는 걸 볼 거예요.

포화: 곡선의 평평한 부분에 머물러서, 기울기, 그래서 그걸 통과하는 기울기가 거의 0인 것.

요약 활성화는 휘고, 그 기울기가 기울기가 얼마나 거슬러 흐를지 정해요.

이 레슨의 단어와 기호
sigmoid
1 / (1 + exp(-z)): 어떤 숫자든 0에서 1로 눌러 넣어요
ReLU
max(0, z): 양수는 남기고, 음수는 0으로 만들어요
역전파
모든 가중치의 기울기를 얻으려고 거꾸로 돌린 연쇄 법칙
내 차례

각 활성화와 그 기울기를 쓰세요: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, 모두 배열에 대해. GELU 근사 z * sigmoid(1.702 z)를 쓰세요. 그 기울기에는 두 규칙이 함께 필요해요: 곱의 법칙(u × v의 기울기는 u' × v + u × v')과 sigmoid 안의 연쇄 법칙(s = sigmoid(1.702 z)일 때 sigmoid(1.702 z)의 기울기는 1.702 × s(1 - s)). 정확히 0에서의 ReLU 기울기는 0을 쓰세요. 숨겨진 테스트는 모든 기울기를 살짝 밀기와 대조해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.