새것 배우기, 옛것 잊기
왜 중요한가 쓸모 있는 모든 모델은 적응돼요: 회사 문서에, 코딩 스타일에, 언어에. 뻔한 방법, 새 데이터로 계속 훈련하기에는 너무 늦을 때까지 아무도 보지 못하는 비용이 있어요: 모델이 알던 것에서 나빠져요.
강좌의 기록된 GPT는 강좌의 레슨 텍스트에서 영어를 배웠어요. 새 일: Python 강좌의 풀이 해답에서 가져온 Python 코드. 훈련 전에 따로 떼어 둔 영어에서 1.70, 따로 떼어 둔 코드에서 3.25를 받아요(코드를 거의 본 적이 없어요).
모든 가중치를 코드로 창 8개씩 60걸음(브라우저에서 레슨에 들어가는 최대) 훈련하고 둘 다 다시 재세요. 먼저 장면을 보세요: 이 전체 미세 조정과 이 모듈에서 만들 더 싼 방법에 대한, 걸음별 두 손실.
먼저 예측하세요: 코드로 60걸음 뒤에 영어 손실은 대략 같게 머물까요, 아니면 오를까요?
my_guess를 "same"이나 "rises"로 설정하세요. adapt.train(model, code_train, steps=60, batch=8) 앞뒤로 adapt.losses(model)(영어 손실, 코드 손실)로 before와 after를 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.