자리보다 많은 특성: 중첩
왜 중요한가 각 유닛이 하나를 뜻한다면, 신경망을 읽기 쉬울 거예요. 보통은 그렇지 않고, Elhage et al.(2022)의 장난감 모델이 왜인지 보여 줘요: 특성들이 함께 켜지는 일이 드물기만 하면, 신경망은 가진 숫자보다 많은 특성을 저장할 수 있어요.
장난감: 특성 5개, 각각 대부분 0이고 그 밖엔 0과 1 사이의 숫자. 행렬 W(2 × 5)가 그걸 숫자 2개로 짜 넣고, h = W x, 모델은 relu(WT h + b)로 다시 읽어요. 특성 i는 손실에서 0.9i만큼 중요해요(특성 0이 가장). W의 열 i는 특성 i가 저장된 방향이고, 0에 가까운 열은 그 특성이 버려졌다는 뜻이에요.
interp.superposition(sparsity=s)가 그걸 훈련해요(s = 각 특성이 0일 확률). interp.stored(W)는 지킨 특성을, interp.angles(W)는 그 사이의 각도를 나열해요.
먼저 예측하세요: 특성이 드물게 켜질 때(희소도 0.97), 숫자 2개가 5개 중 몇 개를 지킬 수 있을까요?
이 레슨의 단어와 기호
- 중첩
- 숫자보다 많은 특성을, 함께 켜지는 일이 드문 방향으로 저장하기
my_guess를 2부터 5까지의 숫자로 설정하세요. 희소도 0, 0.7, 0.97(시드 0)에서 훈련하고 kept[s]를 저장된 특성 수로, smallest_angle[s]를 저장된 두 특성 사이의 가장 작은 각도로 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.