Tous les cours Gratuit · Pas de compte · Dans ton navigateur

Réseaux de neurones : du neurone au transformer

Construis des réseaux de neurones toi-même, d'un seul neurone à un transformer, puis des modèles génératifs, la diffusion, les lois d'échelle et l'exploration de l'intérieur d'un modèle, en Python et NumPy simples, entraînés dans ton navigateur. Écris ton propre autograd, diagnostique des entraînements cassés, juge les affirmations sur les preuves, et termine par un projet final que tu peux rejouer. Gratuit, sans compte.

25 modules 246 leçons 246 exercices corrigés automatiquement À ton rythme · ~143 de contenu Entraîné dans ton navigateur, pas besoin de GPUPrédis la courbe, puis exécute-la
Ta progression 0 / 246 exercices terminés
Objectif quotidien
Temps: 60 min

Module 0 : Ligne de départ

Tu sauras : dire comment marche le cours et ce qu'il mesure ; faire une prédiction et la vérifier avec une exécution ; noter ton score de départ sur les quatre cadrans ; mesurer la vitesse de ton appareil en FLOP.

Temps: à propos de 8 h

Module 1 : Python pour ce cours

Tu sauras : écrire et tester des fonctions sur des listes et des dictionnaires ; utiliser les tableaux NumPy, les formes, le découpage et le broadcasting au lieu de boucles ; fixer la graine du hasard de façon reproductible ; écrire de petites classes et des closures. Vérifié par l'examen de passage Python (déjà à l'aise ? passe-le d'abord : le réussir te fait sauter le module).

Étape 1 sur 7 · couche réseau Ligne de départ Réussis tous les exercices 5 de cette étape pour gagner sa couche.
Temps: à propos de 7 h

Module 2 : Maths et probabilités, juste ce qu'il faut

Tu sauras : calculer des produits scalaires, des produits matriciels et des broadcasts ; trouver des pentes par petites poussées et par la règle de dérivation en chaîne, pour des nombres et pour des matrices entières ; expliquer comment la dispersion s'additionne et ce que fait une valeur propre ; dériver le gradient de softmax ; écrire log-sum-exp, softmax et l'entropie croisée sans jamais déborder (l'examen de passage).

Étape 2 sur 7 · couche réseau Fondations Réussis tous les exercices 3 de cette étape pour gagner sa couche.
Temps: à propos de 4 h

Module 7 : Travailler sur de nouvelles données

Tu sauras : mesurer le surapprentissage et le sous-apprentissage, le biais et la variance ; utiliser la décroissance des poids, le dropout, l'augmentation et l'arrêt anticipé ; lire honnêtement la double descente et les courbes d'apprentissage ; régler un modèle sur des données de validation et le rapporter sur des données mises de côté (l'examen de passage).

Étape 3 sur 7 · couche réseau Faire marcher l'entraînement Réussis tous les exercices 40 de cette étape pour gagner sa couche.
Temps: à propos de 10 h

Module 10 : Des réseaux qui voient (CNN)

Tu sauras : construire la convolution, le padding, le pooling et leurs gradients, ainsi que im2col ; entraîner des CNN sur le moteur du cours ; lire des entraînements enregistrés sur plusieurs graines ; tester la saillance face à une référence ; utiliser le transfert ; concevoir un CNN sous un budget de poids (l'examen de passage).

Temps: à propos de 10 h

Module 13 : Attention et transformers

Tu sauras : construire l'attention, le masque causal, les têtes, les positions, la normalisation de couche et tout un bloc qui correspond à un vrai modèle ; dériver la passe arrière de l'attention ; entraîner un petit GPT ; lire des entraînements enregistrés ; générer avec un cache ; faire correspondre ton moteur à PyTorch ; réparer un transformer cassé (l'examen de passage).

Temps: à propos de 4 h

Module 14 : Clinique des entraînements II

Tu sauras : diagnostiquer des modèles de séquence cassés, y compris des tricheries qui ont l'air excellentes, des blocages, des tailles de pas et des pannes d'échantillonnage ; lire des entraînements enregistrés qui ont échoué ; juger un assistant IA sur des preuves ; diagnostiquer seul avec un budget (l'examen de passage) ; comparer ton examen de sortie avec ta référence.

Étape 4 sur 7 · couche réseau Des architectures pour la structure Réussis tous les exercices 56 de cette étape pour gagner sa couche.
Temps: à propos de 5 h

Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

Tu sauras : compresser des chiffres en quelques nombres et les reconstruire ; dire, mesures à l'appui, pourquoi un autoencodeur ne peut pas fabriquer de nouveaux chiffres ; calculer la KL entre deux courbes en cloche et l'ELBO ; échantillonner d'une façon à travers laquelle on peut entraîner ; entraîner un VAE qui fabrique de nouveaux chiffres ; marcher d'un chiffre à l'autre ; diagnostiquer et réparer seul un VAE effondré (l'examen de passage).

Temps: à propos de 4 h

Module 16 : Deux réseaux qui jouent (GAN, facultatif)

Module facultatif, pas nécessaire pour le certificat. Tu sauras : écrire les pertes d'un GAN et dire, d'après leurs pentes, quand celle qui sature cale ; entraîner un GAN sur huit taches et juger sa couverture ; provoquer l'effondrement de modes ; tester des astuces de stabilisation sur des graines enregistrées et rapporter ce qui a aidé ; faire tourner un générateur convolutif ; sauver seul un GAN cassé (l'examen de passage).

Temps: à propos de 8 h

Module 17 : Du bruit en entrée, des images en sortie (diffusion)

Tu sauras : ajouter du bruit selon un calendrier, pas à pas et d'un seul saut ; lire les flèches du réseau qui ramènent aux données ; entraîner un prédicteur de bruit ; échantillonner avec DDPM et dire pourquoi l'estimation propre est écrêtée ; comparer des calendriers de bruit et des entrées de temps par la mesure ; construire un U-Net ; échantillonner en moins de pas avec DDIM ; orienter les échantillons avec le guidage sans classifieur ; affiner un modèle entraîné ; ajuster seul une nouvelle forme (l'examen de passage).

Temps: à propos de 6 h

Module 18 : Apprendre sans étiquettes

Tu sauras : juger des caractéristiques par l'accord des plus proches voisins et par une sonde linéaire que tu écris ; préentraîner par prédiction masquée ; écrire InfoNCE et dire pourquoi c'est une entropie croisée ; préentraîner avec SimCLR et lire ce que décident ses augmentations ; associer des légendes à des images (facultatif) ; tester seul des caractéristiques sur des objets que le modèle n'a jamais vus (l'examen de passage).

Étape 5 sur 7 · couche réseau Des réseaux qui créent Réussis tous les exercices 26 de cette étape pour gagner sa couche.
Temps: à propos de 5 h

Module 19 : Plus grand, et combien mieux (lois d'échelle)

Tu sauras : chiffrer un entraînement en FLOP ; ajuster une loi de puissance avec un plancher et des barres d'erreur ; lire si ce sont les poids ou les données qui limitent un entraînement ; planifier la meilleure taille de modèle pour un budget fixe ; prédire un entraînement plus grand et le vérifier ; distinguer un vrai saut d'une métrique qui en fabrique un ; planifier seul un entraînement (l'examen de passage).

Temps: à propos de 5 h

Module 20 : Adapter un modèle entraîné à peu de frais

Tu sauras : montrer l'oubli catastrophique ; compter, construire et vérifier le gradient de LoRA ; choisir son rang à partir de mesures ; affiner un modèle sur ton propre texte sans le casser ; dire quand la distillation aide ; quantifier des poids et prédire le coût ; régler des préférences avec DPO et s'arrêter à temps ; choisir une méthode selon la situation ; atteindre seul un objectif d'adaptation avec un budget (l'examen de passage).

Temps: à propos de 8 h

Module 21 : Regarder à l'intérieur d'un modèle

Tu sauras : dire si une preuve sur l'intérieur d'un modèle est un schéma, un effet ou un mécanisme ; faire tourner une sonde avec un contrôle ; transplanter des activations pour trouver où se trouve une information ; retirer des parties et vérifier s'il y a une relève ; tester un mécanisme des manuels sur le modèle que tu as sous les yeux ; montrer la superposition dans un jouet ; entraîner un autoencodeur clairsemé et tester l'étiquette d'une caractéristique sur un texte inédit ; lire le grokking dans des exécutions enregistrées et vérifier ses ondes en les retirant ; trouver seul où se trouve une information sur de nouvelles entrées (l'examen de passage).

Temps: à propos de 5 h

Module 22 : Juger les affirmations

Tu sauras : trouver un jeu de test fuité grâce au recouvrement et donner le score propre ; découper une perte moyenne selon la partie qui compte ; dire en quoi l'ablation par zéro et par la moyenne diffèrent et indiquer la méthode ; distinguer une différence sur une seule graine d'une différence mesurée avec des erreurs types ; répliquer un résultat sur de nouvelles graines et trouver le réglage où il cesse de tenir ; évaluer seul une affirmation (l'examen de passage).

Étape 6 sur 7 · couche réseau Passer à l'échelle et comprendre Réussis tous les exercices 36 de cette étape pour gagner sa couche.
Temps: à propos de 7 h

Module 23 : Atelier final : une fiche de modèle exécutable

Tu sauras : planifier un projet avec un budget de FLOP ; prédire et faire tourner une référence de base sur plusieurs graines ; juger des changements avec des barres d'erreur ; trouver par vérification du gradient un bug qui entraîne quand même ; faire une découverte à l'intérieur de ton modèle face à un contrôle non entraîné ; évaluer une seule fois sur un jeu caché avec des barres d'erreur ; écrire une fiche de modèle dont chaque nombre correspond à ton journal d'exécutions ; exporter un fichier hors ligne dont les exécutions se rejouent.

Temps: 50 min

Module 24 : Examen final et nouvel essai

Tu sauras : montrer, IA éteinte, ce que la partie 2 a appris sur les quatre cadrans (forme C) ; comparer tes cadrans de la ligne de départ à la fin de la partie 2 ; vérifier un mois plus tard ce qui est resté (forme D, facultative).

Étape 7 sur 7 · couche réseau Projet final et preuve Réussis tous les exercices 10 de cette étape pour gagner sa couche.