강의 계획 레슨 246개 중 219번째 · 모듈 21: 모델 안 들여다보기
모듈 21: 모델 안 들여다보기

프로브에는 대조군이 필요해요

왜 중요한가 프로브(모델의 내부 벡터로 훈련한 작은 선형 분류기)는 해석 가능성에서 가장 흔한 도구이고, 가장 과하게 읽혀요. 높은 정확도는 모델이 그걸 계산했다는 뜻일 수도, 프로브가 계산했다는 뜻일 수도 있어요.

모듈 18에서 선형 프로브를 만났어요. 여기서는 GPT의 벡터로 두 곳에서 하나를 훈련해요: 'embed'(어떤 층 전의, 문자의 임베딩 더하기 그 위치)와 'resid1'(첫 블록 뒤). 질문 셋, 각각 모든 문자에 대한 0/1 레이블:

  • 'vowel': 이 문자가 모음인가?
  • 'control': b, c, g, n, r, s, t 중 하나인가? 아무 뜻 없는 묶음으로, 모음만큼 흔하게 골랐어요(문자의 28.7%, 모음은 28.8%).
  • 'third letter': 단어의 셋째 글자이거나 그 뒤인가?

먼저 예측하세요: 모음 프로브가 100%에 가깝게 점수를 받으면, 그게 모델이 모음이 무엇인지 배웠다는 걸 보여 줄까요?

이 레슨의 단어와 기호
해석 가능성
훈련된 신경망이 안에서 무엇을 계산하는지 알아내고 확인하기
프로브
모델의 내부 벡터에서 무언가를 읽도록 훈련한 작은 선형 분류기
내 차례

my_guess를 "yes"나 "no"로 설정하세요. 세 종류와 두 위치에 대해 scores[kind][site]를 probe(site, kind)로 채우세요. 그다음 computed를 그 프로브가 층이 구해 낸 무언가를 보여 주는 단 하나의 종류로 설정하세요(임베딩만보다 블록 뒤에서 훨씬 쉬워요).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.