Aprender o novo, esquecer o antigo
Por que isso importa Todo modelo útil é adaptado: para os documentos de uma empresa, um estilo de codificação, uma língua. O caminho óbvio, continuar treinando nos novos dados, tem um custo que ninguém vê até que seja tarde demais: o modelo fica pior no que ele já sabia.
O GPT gravado do curso aprendeu inglês do texto da lição do curso. Seu novo trabalho: código Python, tirado das soluções resolvidas do curso de Python. Antes do treinamento, ele marca 1.70 no inglês reservado e 3.25 no código reservado (ele mal viu código).
Treine cada peso no código por 60 steps de 8 janelas (o máximo que cabe em uma lição no navegador) e meça ambos novamente. Observe a cena primeiro: as duas perdas, passo a passo, para este fine-tune completo e para o método mais barato que você vai construir neste módulo.
Preveja primeiro: após 60 passos no código, o loss em inglês ficará mais ou menos igual ou vai subir?
Defina my_guess como "same" ou "rises". Preencha before e after com adapt.losses(model) (English loss, code loss) em torno de adapt.train(model, code_train, steps=60, batch=8).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.