그로킹: 먼저 외우고, 나중에 이해하기
왜 중요한가 Power et al.(2022)은 신경망이 완벽한 훈련 정확도에 닿고, 오랫동안 테스트 데이터에서 우연에 머물다가, 갑자기 일반화하는 걸 봤어요. 안을 들여다보는 것이 손실 곡선이 할 수 없었던 걸 설명한 가장 분명한 경우예요.
과제: a + b 모듈로 23(23으로 나눈 나머지. 그래서 20 + 5는 2). 합은 23 × 23 = 529개이고, 모델은 무작위 절반으로 훈련하고 나머지 절반으로 시험받아요. 각 숫자는 32짜리 임베딩을 받고, 두 임베딩은 128짜리 ReLU 층 하나를 거쳐 점수 23개로 나가요. 매 걸음 절반 전체로 AdamW(모듈 5)로 훈련해요.
1,500걸음 동안 실시간으로 훈련하고, 그다음 가중치 감쇠 3과 없음으로 한 강좌의 기록된 40,000걸음 실행(노트북에서 각각 약 11초, 레슨엔 너무 길어요)을 읽으세요.
먼저 예측하세요: 1,500걸음 뒤에 훈련 정확도는 100%일 거예요. 테스트 정확도는 얼마일까요?
이 레슨의 단어와 기호
- 그로킹
- 훈련 정확도가 완벽해지고 한참 뒤에 테스트 정확도가 오르는 것
my_guess를 "near 0", "near 50%", "near 100%" 중 하나로 설정하세요. 1,500걸음 훈련하고 live를 (훈련 정확도, 테스트 정확도)로 채우세요. runs = interp.recorded()['grok']에서 각 실행의 'curve'에는 (step, 훈련 정확도, 테스트 정확도, 상위 3 비율) 행이 있어요: half_way를 가중치 감쇠 3에서 테스트 정확도가 0.5에 닿는 첫 걸음으로, final_test를 각 실행의 마지막 테스트 정확도로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.