Alle cursussen Gratis · Geen account · In je browser

Neurale Netwerken: Van Neuron naar Transformer

Bouw zelf neurale netwerken, van één neuron tot een transformer, daarna generatieve modellen, diffusie, scaling laws en het bekijken van de binnenkant van een model, in pure Python en NumPy, getraind in je browser. Schrijf je eigen autograd, diagnoseer kapotte runs, beoordeel claims op basis van bewijs en eindig met een capstone die je kunt herhalen. Gratis, geen account nodig.

25 modules 246 lessen 246 automatisch nagelezen oefeningen Zelfstudie · ~143 aan materiaal Getraind in je browser, geen GPU nodigVoorspel de curve, voer deze dan uit
Je voortgang 0 / 246 oefeningen voltooid
Dagelijks doel
Tijd: 60 min

Module 0: Startlijn

Je zult in staat zijn om: te zeggen hoe de cursus werkt en wat het meet; een voorspelling doen en deze controleren tegen een run; je startscore op de vier wijzers vastleggen; de snelheid van je apparaat in FLOPs meten.

Leg 1 van 7 · netwerklaag Startlijn Voltooi alle 5 oefeningen in deze ronde om de laag te verdienen.
Tijd: over 7 h

Module 2: Wiskunde en kansberekening, alleen indien nodig

Je zult in staat zijn om: dot products, matrix multiplies en broadcasts te berekenen; hellingen te vinden door nudging en door de chain rule, voor getallen en voor hele matrices; uit te leggen hoe spread optelt en wat een eigenvalue doet; de softmax gradient af te leiden; log-sum-exp, softmax en cross-entropy te schrijven die nooit overflowen (the gate).

Leg 2 van 7 · netwerklaag Grondslagen Voltooi alle 3 oefeningen in deze ronde om de laag te verdienen.
Leg 3 van 7 · netwerklaag Training laten werken Voltooi alle 40 oefeningen in deze ronde om de laag te verdienen.
Tijd: over 10 h

Module 13: Attention en transformers

Je zult in staat zijn om: aandacht op te bouwen, de causal mask, heads, positions, layer norm en een hele block die overeenkomt met een echt model; de backward pass van attention afleiden; een kleine GPT trainen; recorded runs lezen; genereren met een cache; je engine mappen naar PyTorch; een kapotte transformer (de gate) repareren.

Leg 4 van 7 · netwerklaag Architecturen voor structuur Voltooi alle 56 oefeningen in deze ronde om de laag te verdienen.
Tijd: over 5 h

Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Je zult in staat zijn om: cijfers in een paar getallen persen en ze opnieuw opbouwen; zeggen, met metingen, waarom een autoencoder geen nieuwe cijfers kan maken; de KL tussen twee klokvormige curven en de ELBO berekenen; samplen op een manier die je kunt trainen; een VAE trainen die nieuwe cijfers maakt; tussen cijfers lopen; een ingestorte VAE alleen diagnosticeren en repareren (de gate).

Tijd: over 4 h

Module 16: Twee netwerken in een spel (GANs, optioneel)

Optionele module, niet nodig voor het certificaat. Je zult in staat zijn om: de GAN losses te schrijven en aan hun hellingen zien wanneer de verzadigende stagneert; een GAN trainen op acht blobs en de coverage beoordelen; mode collapse veroorzaken; stabiliserende trucs testen over opgenomen seeds en rapporteren wat hielp; een convolutional generator draaien; een kapotte GAN alleen redden (the gate).

Tijd: over 8 h

Module 17: Ruis erin, plaatjes eruit (diffusie)

Je zult in staat zijn om: ruis toevoegen via een schema, stap voor stap en in één keer; de pijlen van het netwerk teruglezen naar de data; een noise predictor trainen; samplen met DDPM en zeggen waarom de schone schatting is geknipt; noise schedules en tijdinputs vergelijken door meting; een U-Net bouwen; samplen in minder stappen met DDIM; samples sturen met classifier-free guidance; een getraind model finetunen; een nieuwe vorm alleen aanpassen (de gate).

Tijd: over 6 h

Module 18: Leren zonder labels

Je zult in staat zijn om: features te beoordelen door nearest-neighbour agreement en door een lineaire probe die je schrijft; pretrainen met masked prediction; InfoNCE schrijven en zeggen waarom het cross-entropy is; pretrainen met SimCLR en lezen wat de augmentaties bepalen; captions aan pictures koppelen (optioneel); features testen op objects die het model nooit heeft gezien, alleen (the gate).

Leg 5 van 7 · netwerklaag Netwerken die dingen maken Voltooi alle 26 oefeningen in deze ronde om de laag te verdienen.
Tijd: over 5 h

Module 19: Groter, en hoe veel beter (scaling laws)

Je zult in staat zijn om: een trainingsrun in FLOPs te berekenen; een power law met een floor en foutenbalken aanpassen; lezen of gewichten of data een run beperken; de beste modelgrootte voor een vast Budget plannen; een grotere run voorspellen en deze controleren; een echte sprong van een metric onderscheiden die er een maakt; een run alleen plannen (de gate).

Tijd: over 5 h

Module 20: Een getraind model goedkoop aanpassen

Je zult in staat zijn om: catastrofaal vergeten te tonen; LoRA tellen, bouwen en gradient-checken; de rank ervan kiezen uit metingen; een model finetunen op je eigen tekst zonder het te verpesten; zeggen wanneer distillatie helpt; weights kwantiseren en de kosten voorspellen; voorkeuren afstemmen met DPO en op tijd stoppen; een methode kiezen voor een situatie; een adaptatiedoel alleen halen binnen een Budget (de gate).

Tijd: over 8 h

Module 21: In een model kijken

Je zult in staat zijn om: te zeggen of bewijs over de binnenkant van een model een patroon, een effect of een mechanisme is; een probe uitvoeren met een controle; activaties patchen om te vinden waar informatie zich bevindt; delen verwijderen en controleren op back-up; een tekstboek mechanisme testen op het model voor je; superpositie laten zien in een toy; een sparse autoencoder trainen en een feature label testen op onbekende tekst; grokking lezen uit opgenomen runs en de golven controleren door ze te verwijderen; vinden waar informatie zich bevindt op nieuwe inputs alleen (de gate).

Tijd: over 5 h

Module 22: Claims beoordelen

Je zult in staat zijn om: een gelekt testset vinden door overlap en de schone score rapporteren; een gemiddelde loss splitsen langs het deel dat ertoe doet; zeggen hoe zero en mean ablation verschillen en de methode rapporteren; een one-seed verschil onderscheiden van een gemeten verschil met standaardfouten; een resultaat repliceren op nieuwe seeds en de instelling vinden waar het stopt met gelden; een claim alleen beoordelen (de gate).

Leg 6 van 7 · netwerklaag Schaal en begrijp Voltooi alle 36 oefeningen in deze ronde om de laag te verdienen.
Tijd: over 7 h

Module 23: Capstone studio: een model kaart die je kunt draaien

Je zult in staat zijn om: een project te plannen met een FLOP budget; een basislijn aanroepen en uitvoeren over seeds; veranderingen beoordelen met foutenbalken; een bug vinden die nog steeds traint door gradient checking; een bevinding doen binnen je model tegen een niet-getrainde controle; één keer evalueren op een verborgen set met foutenbalken; een model kaart schrijven waarvan elk getal overeenkomt met je run log; één offline bestand exporteren waarvan de runs worden hergespeeld.

Tijd: 50 min

Module 24: Eindexamen en hertoetsing

Je zult in staat zijn om: met AI uit te laten zien wat Deel 2 leerde op alle vier de draaiknoppen (form C); je draaiknoppen te vergelijken van de startlijn tot het einde van Deel 2; een maand later te controleren wat bleef (form D, optioneel).

Leg 7 van 7 · netwerklaag Capstone en bewijs Voltooi alle 10 oefeningen in deze ronde om de laag te verdienen.