안에서 바뀐 것: 파동
왜 중요한가 Nanda et al.(2023)은 모듈로 덧셈을 그로킹하는 신경망이 결국 파동으로 그걸 계산한다는 걸 보여 줬어요: 각 숫자가 원 몇 개 위의 점이 되고, 숫자 더하기가 각도 더하기로 바뀌어요. 완전한 메커니즘을 찾고 그다음 확인한 몇 안 되는 경우 중 하나예요.
각 임베딩 열을 숫자 0부터 22까지 하나씩, 값 23개의 리스트로 읽고, 주파수 1부터 11까지의 파동으로 나누세요(주파수 k의 파동은 0부터 22까지 k번 돌아요. 이 나누기가 푸리에 변환이에요). interp.frequency_shares(emb)가 임베딩에서 각 주파수의 비율을 줘요(합이 1). 모델이 파동 몇 개를 쓴다면 주파수 몇 개가 대부분을 담고, 고르게 퍼져 있다면 상위 3개가 3/11 = 0.27을 담을 거예요.
패턴만으로는 충분하지 않아요: interp.keep_frequencies(emb, keep)로 몇몇 주파수만으로 임베딩을 다시 만들고 테스트 정확도를 재세요. 상위 3개가 메커니즘이라면, 그것만 남기면 정확도 대부분을 지켜야 하고, 그것만 없애면 무너뜨려야 해요.
이 레슨의 단어와 기호
- 패턴, 효과, 메커니즘
- 증거의 세 종류: 보고 봤다, 바꿨더니 출력이 바뀌었다, 설명했더니 그 설명이 새 경우를 예측했다
- 푸리에 변환
- 값의 리스트를 서로 다른 주파수의 파동으로 나누기
g = interp.grok_model()(40,000걸음 뒤의 가중치 감쇠 3 기록 실행)을 불러오세요. top3를 가장 큰 주파수 셋으로, top3_share를 그 전체 비율로, 그리고 임베딩 셋에 대한 test_acc를 설정하세요: 'all', 'only top 3', 'all but top 3'.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.