N'importe quelle courbe à partir de bosses (approximation universelle)
Pourquoi c'est important On dit qu'un réseau avec une seule couche cachée peut ajuster n'importe quelle courbe. Ici, tu vois pourquoi, en le construisant toi-même à partir de bosses.
Vois-le
Une sigmoïde très raide est une marche : 0 à gauche, 1 à droite. Deux marches, une qui monte en left et une qui descend en right, font une bosse : height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Ce sont deux neurones cachés et un poids de sortie. Mets des bosses côte à côte, chacune aussi haute que la courbe à son endroit, et tu traces n'importe quelle courbe, comme un diagramme en barres. Plus de neurones, des barres plus fines, un ajustement plus proche.
Approximation universelle : une seule couche cachée avec assez de neurones peut s'approcher autant que tu veux de n'importe quelle courbe raisonnable. Ça ne dit rien de la facilité à trouver ces poids par l'entraînement.
Récap Deux neurones font une bosse ; assez de bosses font n'importe quoi.
Mots et symboles de cette leçon
- neurone
- w . x + b, puis une activation
- poids (w, W), biais (b)
- les nombres qu'un neurone apprend ; le biais décale sa sortie
- sigmoïde
- 1 / (1 + exp(-z)) : écrase n'importe quel nombre entre 0 et 1
- couche cachée
- une couche entre l'entrée et la sortie qui construit de nouvelles caractéristiques
Écris bump(x, left, right, height, s=60), puis approx(x, f, n_bumps) qui découpe l'intervalle de 0 à pi en n_bumps morceaux égaux et ajoute une bosse par morceau, chacune de la hauteur de f au milieu de son morceau. Avec 10 bosses (20 neurones), l'erreur quadratique moyenne par rapport à sin sur 0 à pi doit être inférieure à 0.01.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.