Conteúdo do curso Lição 120 de 246 · Módulo 10: Redes que veem (CNNs)
Módulo 10: Redes que veem (CNNs)

Redes mais profundas, e as execuções registradas

Por que isso importa Empilhar mais camadas deve ajudar, até que de repente não ajuda mais. O curso treinou este experimento na própria máquina para que você possa ver todas as dezoito execuções em segundos.

O experimento registrado cnn-depth-shortcuts treinou CNNs com 2, 8 e 20 camadas conv (16 canais cada) no dataset de formas, cada uma com e sem shortcuts (adicionando a entrada de um bloco à sua saída, do Módulo 6), e cada uma com três seeds. Todo o resto foi idêntico: 2.000 imagens de treinamento, 4 epochs, Adam. Replay é instantâneo porque nada treina; você está lendo o que realmente aconteceu.

Três sementes, porque o Módulo 9 está correto: uma execução pode enganar. Olhe para a dispersão de cada configuração, não apenas para a média dela.

Chame a Curve primeiro: qual configuração termina com a maior acurácia média de teste, e a rede simples de 20 camadas aprende em cada seed?

Execução gravada: uma execução de treinamento real que o curso fez uma vez e enviou, para que as lições possam estudar execuções grandes demais ou em excesso para treinar ao vivo em cada laptop. Cada impressão diz RECORDED.

Palavras e símbolos nesta lição
RECORDED
Uma execução real do curso foi treinada uma vez e enviada para você estudar
Sua vez

Defina my_best para o par (depth, shortcuts) que você acha que termina mais alto em média, e my_plain20_reliable para True se você acha que a rede simples de 20 camadas aprende em todas as três seeds. Depois use nnsim.recorded para preencher final_acc: (depth, shortcuts) para a lista das acurácias de teste finais das três seeds (seed 0 primeiro), defina mean_acc para a média de cada lista, e best para o par com a média mais alta. exp.seeds(depth=..., shortcuts=...) dá as três execuções de uma configuração. Chance é 0.25 (quatro formas).

Finalmente, use a regra de ruído do Módulo 9 para dizer quais configurações realmente diferem. Com três sementes cada, duas médias diferem de verdade apenas se a lacuna for maior que cerca de 2 × s × sqrt(2/3), onde s é o maior dos dois spreads de semente das configurações (np.std dos três valores). Qualquer coisa mais próxima é um empate.

Defina ties_with_best como a lista de cada par que empata com best por essa regra, incluindo o próprio best.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.