Falha produtiva: XOR com um neurônio
Por que isso importa Falhar de propósito aqui te ensina, melhor do que qualquer explicação, por que redes precisam de mais de uma camada.
XOR ("exclusive or") é 1 quando exatamente uma de duas entradas é 1. Quatro pontos: (0,0) é 0, (0,1) é 1, (1,0) é 1, (1,1) é 0. Seu trabalho: faça seu neurônio logístico da última lição acertar todos os quatro. Tente qualquer learning rate, qualquer número de steps e qualquer seed.
O neurônio aqui começa com pesos aleatórios. Por que isso importa: se começasse com todos os zeros, no XOR seu gradiente seria exatamente 0 por simetria (os quatro pontos puxam igualmente em direções opostas), então ele nunca se moveria. Essa é uma falha diferente daquela que esta lição aborda, então nós a descartamos.
Passe alguns minutos tentando de verdade antes de ler a dica. Ter dificuldade primeiro é o objetivo: pesquisas sobre aprendizagem mostram que pessoas que tentam um problema antes de serem ensinadas a ideia o entendem melhor depois.
Palavras e símbolos nesta lição
- neuron
- w . x + b, depois uma ativação
- pesos (w, W), viés (b)
- os números que um neurônio aprende; o bias desloca sua saída
- sigmoid
- 1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
- taxa de aprendizado (lr)
- quão grande cada training step é
Use train_logistic(X, y, lr, steps, seed) em XOR com pelo menos três configurações diferentes, e coloque a acurácia de cada resultado em my_attempts. Depois, defina reason para a letra da explicação verdadeira:
A: precisa de mais passos. B: um único neurônio só pode dividir o plano com uma linha reta, e nenhuma linha reta separa XOR. C: a learning rate está errada. D: quatro pontos são poucos demais para aprender.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.