Conteúdo do curso Lição 95 de 246 · Módulo 8: Clínica de Execução I
Módulo 8: Clínica de Execução I

Suas próprias sondas

Por que isso importa Probes são como você vê dentro de uma execução. Escrevê-las você mesmo significa que você saberá o que os números significam quando uma ferramenta os mostrar para você.

Três sondas fazem a maior parte do trabalho:

  • Tamanho do gradiente por camada: o comprimento (norma) do gradiente de cada matriz de pesos. Tudo zero: nada aprende. Muito diferente entre camadas: uma camada está passando fome.
  • Dead share: a fração de unidades ocultas que retornam zero para cada exemplo em um batch.
  • Razão de atualização para peso: taxa de aprendizado vezes o tamanho do gradiente, dividido pelo tamanho do peso. Diz qual fração de cada peso um passo altera. Cerca de 0.001 a 0.1 é saudável; perto de 1 significa que cada passo reescreve os pesos; perto de 0 significa que nada se move.

O harness expõe seus internos: _data(c) fornece os dados de treinamento, _init(c) os pesos iniciais, e _fb(p, X, y, c) retorna (loss, gradients, hidden activations).

Palavras e símbolos nesta lição
probe
uma medição rápida de uma execução, como tamanhos de gradiente ou unidades mortas
razão de atualização para peso
quanto um passo muda cada peso, em relação ao seu tamanho
Sua vez

Escreva my_grad_norms(c), my_dead_share(c) e my_update_ratio(c) usando os primeiros 256 exemplos de treinamento e os pesos iniciais. Eles devem corresponder às sondas da clínica.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.