풀어내기: 희소 오토인코더
왜 중요한가 특성이 중첩으로 저장돼 있다면, 유닛을 봐서는 찾을 수 없어요. 희소 오토인코더(Bricken et al. 2023, Cunningham et al. 2023)는 그걸 되돌리려 해요: 각 벡터를 가진 숫자보다 훨씬 많은 방향으로, 하지만 한 번에 몇 개만으로 다시 만들기.
레슨 텍스트 19,200문자에 대한 블록 1 뒤 GPT의 64개 숫자 벡터를 가져오세요. 특성 256개짜리 희소 오토인코더는 f = relu(z We + be)를 계산하고 z = f Wd를 다시 만들어요. 손실은 재구성 오차 더하기 l1 곱하기 f의 전체 크기인데, 그게 대부분의 특성을 정확히 0으로 밀어요.
interp.train_sae(A, features=256, l1=...)가 하나를 훈련해요. sae.unexplained(A)는 재구성이 놓치는 벡터 퍼짐의 비율(0이면 완벽)이고 sae.features(A)가 f를 줘요.
먼저 예측하세요: 강한 밀기(l1 = 0.3)로도 재구성이 퍼짐의 대부분을 설명할까요(설명 안 됨이 0.2 아래)?
이 레슨의 단어와 기호
- 중첩
- 숫자보다 많은 특성을, 함께 켜지는 일이 드문 방향으로 저장하기
- 희소 오토인코더
- 한 번에 활성 특성 몇 개로 벡터를 다시 만들도록 훈련한 넓은 층
my_guess를 "yes"나 "no"로 설정하세요. l1 0.03과 0.3에서 훈련하세요(각각 벡터 128개씩 600걸음). 따로 떼어 둔 벡터 A_new에서 unexplained[l1]을, 그리고 active[l1]을 채우세요: 따로 떼어 둔 문자당 0보다 큰 특성의 평균 수.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.