대조군과 함께, 모델 안의 발견 하나
왜 중요한가 모듈 21의 교훈을 자기 모델에 적용하기: 프로브의 점수는 같은 프로브가 한 번도 훈련하지 않은 신경망에서 읽는 것과 비교하기 전까지 아무 의미가 없어요.
자기 트랙의 프로브 세트는 각 입력에 대해 질문 하나를 물어요(meaning): language 트랙에서는 "다음 문자가 모음인가?", images 트랙에서는 "사진에 어떤 물체가 있나?".
기준선(시드 0)을 훈련하세요. 그 은닉층을 읽고(studio.hidden_units(model, X)) 프로브 세트의 앞 절반으로 선형 프로브를 훈련하고, 뒤 절반으로 시험하세요(ssl.probe, 300걸음). 대조군: 같은 모양과 시드의 훈련하지 않은 신경망(studio.MLP(track.n_in, width, track.n_out, seed=0))에 대한 같은 프로브. 무작위 ReLU 유닛도 이미 입력을 많은 특성으로 바꾸고, 프로브는 거기서 많이 읽을 수 있어요. 대조군 위의 부분만이 훈련이 거기 넣은 거예요.
이 레슨의 단어와 기호
- 기준선
- 모든 변경을 같은 시드에 걸쳐 대조해 재는 평범한 실행
trained, control, base_rate(테스트 절반에서 가장 흔한 레이블의 비율)를 채우세요. trained가 control을 0.02보다 많이 이기면 finding을 "above control"로, 아니면 "not above control"로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.