강의 계획 레슨 246개 중 208번째 · 모듈 20: 훈련된 모델을 싸게 적응시키기
모듈 20: 훈련된 모델을 싸게 적응시키기

새것 배우기, 옛것 잊기

왜 중요한가 쓸모 있는 모든 모델은 적응돼요: 회사 문서에, 코딩 스타일에, 언어에. 뻔한 방법, 새 데이터로 계속 훈련하기에는 너무 늦을 때까지 아무도 보지 못하는 비용이 있어요: 모델이 알던 것에서 나빠져요.

강좌의 기록된 GPT는 강좌의 레슨 텍스트에서 영어를 배웠어요. 새 일: Python 강좌의 풀이 해답에서 가져온 Python 코드. 훈련 전에 따로 떼어 둔 영어에서 1.70, 따로 떼어 둔 코드에서 3.25를 받아요(코드를 거의 본 적이 없어요).

모든 가중치를 코드로 창 8개씩 60걸음(브라우저에서 레슨에 들어가는 최대) 훈련하고 둘 다 다시 재세요. 먼저 장면을 보세요: 이 전체 미세 조정과 이 모듈에서 만들 더 싼 방법에 대한, 걸음별 두 손실.

먼저 예측하세요: 코드로 60걸음 뒤에 영어 손실은 대략 같게 머물까요, 아니면 오를까요?

내 차례

my_guess를 "same"이나 "rises"로 설정하세요. adapt.train(model, code_train, steps=60, batch=8) 앞뒤로 adapt.losses(model)(영어 손실, 코드 손실)로 before와 after를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.