Conteúdo do curso Lição 42 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Falha produtiva: XOR com um neurônio

Por que isso importa Falhar de propósito aqui te ensina, melhor do que qualquer explicação, por que redes precisam de mais de uma camada.

XOR ("exclusive or") é 1 quando exatamente uma de duas entradas é 1. Quatro pontos: (0,0) é 0, (0,1) é 1, (1,0) é 1, (1,1) é 0. Seu trabalho: faça seu neurônio logístico da última lição acertar todos os quatro. Tente qualquer learning rate, qualquer número de steps e qualquer seed.

O neurônio aqui começa com pesos aleatórios. Por que isso importa: se começasse com todos os zeros, no XOR seu gradiente seria exatamente 0 por simetria (os quatro pontos puxam igualmente em direções opostas), então ele nunca se moveria. Essa é uma falha diferente daquela que esta lição aborda, então nós a descartamos.

Passe alguns minutos tentando de verdade antes de ler a dica. Ter dificuldade primeiro é o objetivo: pesquisas sobre aprendizagem mostram que pessoas que tentam um problema antes de serem ensinadas a ideia o entendem melhor depois.

Palavras e símbolos nesta lição
neuron
w . x + b, depois uma ativação
pesos (w, W), viés (b)
os números que um neurônio aprende; o bias desloca sua saída
sigmoid
1 / (1 + exp(-z)): esmaga qualquer número para 0 a 1
taxa de aprendizado (lr)
quão grande cada training step é
Sua vez

Use train_logistic(X, y, lr, steps, seed) em XOR com pelo menos três configurações diferentes, e coloque a acurácia de cada resultado em my_attempts. Depois, defina reason para a letra da explicação verdadeira:

A: precisa de mais passos. B: um único neurônio só pode dividir o plano com uma linha reta, e nenhuma linha reta separa XOR. C: a learning rate está errada. D: quatro pontos são poucos demais para aprender.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.