강의 계획 레슨 246개 중 227번째 · 모듈 21: 모델 안 들여다보기
모듈 21: 모델 안 들여다보기

안에서 바뀐 것: 파동

왜 중요한가 Nanda et al.(2023)은 모듈로 덧셈을 그로킹하는 신경망이 결국 파동으로 그걸 계산한다는 걸 보여 줬어요: 각 숫자가 원 몇 개 위의 점이 되고, 숫자 더하기가 각도 더하기로 바뀌어요. 완전한 메커니즘을 찾고 그다음 확인한 몇 안 되는 경우 중 하나예요.

각 임베딩 열을 숫자 0부터 22까지 하나씩, 값 23개의 리스트로 읽고, 주파수 1부터 11까지의 파동으로 나누세요(주파수 k의 파동은 0부터 22까지 k번 돌아요. 이 나누기가 푸리에 변환이에요). interp.frequency_shares(emb)가 임베딩에서 각 주파수의 비율을 줘요(합이 1). 모델이 파동 몇 개를 쓴다면 주파수 몇 개가 대부분을 담고, 고르게 퍼져 있다면 상위 3개가 3/11 = 0.27을 담을 거예요.

패턴만으로는 충분하지 않아요: interp.keep_frequencies(emb, keep)로 몇몇 주파수만으로 임베딩을 다시 만들고 테스트 정확도를 재세요. 상위 3개가 메커니즘이라면, 그것만 남기면 정확도 대부분을 지켜야 하고, 그것만 없애면 무너뜨려야 해요.

이 레슨의 단어와 기호
패턴, 효과, 메커니즘
증거의 세 종류: 보고 봤다, 바꿨더니 출력이 바뀌었다, 설명했더니 그 설명이 새 경우를 예측했다
푸리에 변환
값의 리스트를 서로 다른 주파수의 파동으로 나누기
내 차례

g = interp.grok_model()(40,000걸음 뒤의 가중치 감쇠 3 기록 실행)을 불러오세요. top3를 가장 큰 주파수 셋으로, top3_share를 그 전체 비율로, 그리고 임베딩 셋에 대한 test_acc를 설정하세요: 'all', 'only top 3', 'all but top 3'.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.