단순한 분류기로 특성 시험하기(선형 프로브)
왜 중요한가 최근접 이웃은 대략적인 답을 줬어요. 학습된 특성의 표준 시험은 선형 프로브예요: 특성을 얼리고, 레이블 몇 개로 그 위에 선형 분류기만 훈련하고, 새 사진에서 재세요. 직선이 물체들을 가를 수 있다면 특성이 어려운 일을 한 거예요.
프로브는 모듈 3의 softmax 회귀를 픽셀 대신 특성에 한 거예요:
- 각 특성을 훈련 세트의 평균과 퍼짐으로 표준화하세요(테스트 세트에도 같은 숫자를 쓰세요).
- 모든 훈련 행에 한꺼번에 교차 엔트로피에 대한 경사 하강법: 1000걸음, 걸음 크기 0.5, 가중치 감쇠 0.001.
- 테스트 사진에서의 정확도.
일부러 약하게 했어요: 레이블 400개로 하는 선형 모델. 그게 요점이에요. 좋은 특성을 지어낼 수 없고, 특성이 이미 말하는 걸 읽을 수만 있어요.
이 레슨의 단어와 기호
- 선형 프로브
- 얼린 특성 위에서 훈련한 선형 분류기: 특성이 이미 말하는 것에 대한 시험
- SimCLR
- 각 그림의 뷰 둘과 InfoNCE로 하는 자기 지도 훈련(Chen et al. 2020)
설명대로 my_probe(F_train, y_train, F_test, y_test)를 쓰세요(가중치와 편향은 0에서 시작). 그다음 자기 프로브로 무작위 인코더(ssl.Encoder(32, seed=0))와 기록된 SimCLR 인코더에 대한 accuracy를 채우세요. 날 픽셀 기준선(사진당 숫자 768개)은 같은 산술을 빠른 행렬 곱셈 위에서 float32로 하는 강좌의 프로브로 계산해 뒀어요: 자기 float64 버전은 브라우저에서 입력 768개에 30초가 걸릴 거예요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.