활성화: 층 사이의 휨
왜 중요한가 층 사이에 휨이 없으면 열 층도 한 층보다 똑똑하지 않아요. 휨의 선택은 기울기가 흐를 수 있는지도 정해요.
어디서나 만날 활성화 셋:
- ReLU: max(0, z). 싸고, 양수 입력에서 기울기가 정확히 1이라 기울기가 줄지 않고 통과해요. 음수에서는 기울기 0.
- tanh: -1에서 1로, 0을 중심으로 눌러 넣어요. 0에서 기울기 1이지만 큰 입력에서는 거의 0이에요: 포화돼요.
- GELU: 트랜스포머에서 쓰는 매끄러운 ReLU, 대략 z 곱하기 sigmoid(1.702 z).
왜 기울기가 중요한지
역전파는 각 활성화의 기울기를 곱해요. 0에 가까운 기울기(포화된 tanh, 또는 음수 입력의 ReLU)는 기울기를 막아요. 모듈 6에서 그게 진짜 훈련 실패를 일으키는 걸 볼 거예요.
포화: 곡선의 평평한 부분에 머물러서, 기울기, 그래서 그걸 통과하는 기울기가 거의 0인 것.
요약 활성화는 휘고, 그 기울기가 기울기가 얼마나 거슬러 흐를지 정해요.
이 레슨의 단어와 기호
- sigmoid
- 1 / (1 + exp(-z)): 어떤 숫자든 0에서 1로 눌러 넣어요
- ReLU
- max(0, z): 양수는 남기고, 음수는 0으로 만들어요
- 역전파
- 모든 가중치의 기울기를 얻으려고 거꾸로 돌린 연쇄 법칙
각 활성화와 그 기울기를 쓰세요: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, 모두 배열에 대해. GELU 근사 z * sigmoid(1.702 z)를 쓰세요. 그 기울기에는 두 규칙이 함께 필요해요: 곱의 법칙(u × v의 기울기는 u' × v + u × v')과 sigmoid 안의 연쇄 법칙(s = sigmoid(1.702 z)일 때 sigmoid(1.702 z)의 기울기는 1.702 × s(1 - s)). 정확히 0에서의 ReLU 기울기는 0을 쓰세요. 숨겨진 테스트는 모든 기울기를 살짝 밀기와 대조해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.