Suas próprias sondas
Por que isso importa Probes são como você vê dentro de uma execução. Escrevê-las você mesmo significa que você saberá o que os números significam quando uma ferramenta os mostrar para você.
Três sondas fazem a maior parte do trabalho:
- Tamanho do gradiente por camada: o comprimento (norma) do gradiente de cada matriz de pesos. Tudo zero: nada aprende. Muito diferente entre camadas: uma camada está passando fome.
- Dead share: a fração de unidades ocultas que retornam zero para cada exemplo em um batch.
- Razão de atualização para peso: taxa de aprendizado vezes o tamanho do gradiente, dividido pelo tamanho do peso. Diz qual fração de cada peso um passo altera. Cerca de 0.001 a 0.1 é saudável; perto de 1 significa que cada passo reescreve os pesos; perto de 0 significa que nada se move.
O harness expõe seus internos: _data(c) fornece os dados de treinamento, _init(c) os pesos iniciais, e _fb(p, X, y, c) retorna (loss, gradients, hidden activations).
Palavras e símbolos nesta lição
- probe
- uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
- razão de atualização para peso
- quanto um passo muda cada peso, em relação ao seu tamanho
Escreva my_grad_norms(c), my_dead_share(c) e my_update_ratio(c) usando os primeiros 256 exemplos de treinamento e os pesos iniciais. Eles devem corresponder às sondas da clínica.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.