Reutilizando uma rede treinada (transfer learning)
Por que isso importa Você raramente tem muitos dados rotulados para sua própria tarefa. Uma rede treinada em um grande conjunto de dados relacionado já conhece características úteis; reutilizá-la permite que um conjunto de dados pequeno renda muito.
O plano: treinar as camadas conv em um dataset de formas grande e limpo. Depois encarar uma tarefa nova e mais difícil com apenas 40 imagens rotuladas: as mesmas formas, mas muito mais ruidosas. Manter as camadas conv treinadas congeladas e treinar apenas uma nova camada final em features calculadas pela média sobre a imagem inteira (features sem posição generalizam a partir de poucos exemplos). Comparar com o treinamento da rede inteira do zero nas 40 imagens.
Frozen: camadas cujos weights não são atualizados durante o treinamento. Fine-tuning: continuar a treinar uma rede pré-treinada em novos dados.
Palavras e símbolos nesta lição
- transfer learning
- reutilizando camadas treinadas em uma tarefa para outra
- RECORDED
- Uma execução real do curso foi treinada uma vez e enviada para você estudar
O pré-treinamento foi feito uma vez pelo curso e seus pesos são carregados para você (uma rede gravada). Escreva train_head(w1, w2, X, y, steps) que treina apenas uma nova camada de saída de 16 para 4 sobre camadas conv congeladas (Adam em 1e-2 funciona) e retorna uma função predict, e train_scratch(X, y, steps) que treina todas as três camadas a partir de novos pesos aleatórios. O teste roda ambos em 1.000 imagens de teste com ruído. Seu modelo de transferência deve superar a própria rede do curso do zero (configurações fixas: 8 e 16 canais, Adam 3e-3, 300 steps, cerca de 58%) por pelo menos 8 pontos; a execução de transferência do curso chega a cerca de 72%. Sua própria rede do zero só precisa aprender algo (acima de 35%, onde o acaso é 25%). Se a sua superar a rede do zero do curso, parabéns: ajustar bem o treinamento do zero é uma habilidade real, e é também por isso que uma comparação justa fixa as configurações antecipadamente.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.