Conteúdo do curso Lição 208 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Aprender o novo, esquecer o antigo

Por que isso importa Todo modelo útil é adaptado: para os documentos de uma empresa, um estilo de codificação, uma língua. O caminho óbvio, continuar treinando nos novos dados, tem um custo que ninguém vê até que seja tarde demais: o modelo fica pior no que ele já sabia.

O GPT gravado do curso aprendeu inglês do texto da lição do curso. Seu novo trabalho: código Python, tirado das soluções resolvidas do curso de Python. Antes do treinamento, ele marca 1.70 no inglês reservado e 3.25 no código reservado (ele mal viu código).

Treine cada peso no código por 60 steps de 8 janelas (o máximo que cabe em uma lição no navegador) e meça ambos novamente. Observe a cena primeiro: as duas perdas, passo a passo, para este fine-tune completo e para o método mais barato que você vai construir neste módulo.

Preveja primeiro: após 60 passos no código, o loss em inglês ficará mais ou menos igual ou vai subir?

Sua vez

Defina my_guess como "same" ou "rises". Preencha before e after com adapt.losses(model) (English loss, code loss) em torno de adapt.train(model, code_train, steps=60, batch=8).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.