강의 계획 레슨 246개 중 223번째 · 모듈 21: 모델 안 들여다보기
모듈 21: 모델 안 들여다보기

자리보다 많은 특성: 중첩

왜 중요한가 각 유닛이 하나를 뜻한다면, 신경망을 읽기 쉬울 거예요. 보통은 그렇지 않고, Elhage et al.(2022)의 장난감 모델이 왜인지 보여 줘요: 특성들이 함께 켜지는 일이 드물기만 하면, 신경망은 가진 숫자보다 많은 특성을 저장할 수 있어요.

장난감: 특성 5개, 각각 대부분 0이고 그 밖엔 0과 1 사이의 숫자. 행렬 W(2 × 5)가 그걸 숫자 2개로 짜 넣고, h = W x, 모델은 relu(WT h + b)로 다시 읽어요. 특성 i는 손실에서 0.9i만큼 중요해요(특성 0이 가장). W의 열 i는 특성 i가 저장된 방향이고, 0에 가까운 열은 그 특성이 버려졌다는 뜻이에요.

interp.superposition(sparsity=s)가 그걸 훈련해요(s = 각 특성이 0일 확률). interp.stored(W)는 지킨 특성을, interp.angles(W)는 그 사이의 각도를 나열해요.

먼저 예측하세요: 특성이 드물게 켜질 때(희소도 0.97), 숫자 2개가 5개 중 몇 개를 지킬 수 있을까요?

이 레슨의 단어와 기호
중첩
숫자보다 많은 특성을, 함께 켜지는 일이 드문 방향으로 저장하기
내 차례

my_guess를 2부터 5까지의 숫자로 설정하세요. 희소도 0, 0.7, 0.97(시드 0)에서 훈련하고 kept[s]를 저장된 특성 수로, smallest_angle[s]를 저장된 두 특성 사이의 가장 작은 각도로 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.