Neuronale Netze: Vom Neuron zum Transformer
Baue neuronale Netze selbst, von einem Neuron bis zu einem Transformer, dann generative Modelle, Diffusion, Scaling Laws und den Blick in ein Modell, in einfachem Python und NumPy, trainiert in deinem Browser. Schreibe dein eigenes autograd, diagnostiziere fehlerhafte Durchläufe, bewerte Behauptungen anhand von Beweisen und schließe mit einem Capstone ab, den du wiederholen kannst. Kostenlos, kein Konto.
Real Python und NumPy sind in diesem Tab bereit.
Keine Installation, kein Konto, kein Setup. Jedes Netzwerk in diesem Kurs wird auf deinem eigenen Gerät trainiert, und nichts, was du schreibst, verlässt es. Modul 1 frischt das Python und NumPy auf, das du brauchst. Bereit? Seine letzte Lektion ist ein kurzes Tor, das du zuerst nehmen kannst: Bestehe es und der Kurs führt dich direkt weiter.
Tägliche Überprüfung
Spaced Repetition verhindert, dass das Gelernte verblasst.
Modul 0: Startlinie
Du wirst in der Lage sein: zu sagen, wie der Kurs funktioniert und was er misst; eine Vorhersage zu machen und sie gegen einen Durchlauf zu prüfen; deinen Startwert auf den vier Ziffernblättern aufzuzeichnen; die Geschwindigkeit deines Geräts in FLOPs zu messen.
Modul 1: Python für diesen Kurs
Du wirst in der Lage sein: Funktionen über Listen und Dictionaries zu schreiben und zu testen; NumPy arrays, shapes, slicing und broadcasting anstelle von Schleifen zu verwenden; Zufall reproduzierbar zu setzen; kleine Klassen und Closures zu schreiben. Überprüft durch das Python gate (schon fließend? mache es zuerst: das Bestehen überspringt das Modul).
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Du wirst in der Lage sein: Skalarprodukte, Matrixmultiplikationen und Broadcasts zu berechnen; Steigungen durch Nudging und durch die Kettenregel zu finden, für Zahlen und für ganze Matrizen; zu erklären, wie Spread sich summiert und was ein Eigenwert tut; den Softmax-Gradienten abzuleiten; log-sum-exp, softmax und cross-entropy zu schreiben, die niemals überlaufen (the gate).
Modul 3: Neuron zu MLP
Du wirst in der Lage sein: ein Neuron, Aktivierungen und ein zweischichtiges Netzwerk in NumPy zu bauen; Backprop von Hand abzuleiten und mit einem Gradient Checker zu prüfen; einen Ziffernleser über 95% zu trainieren; dein eigenes Netzwerk für einen neuen Datensatz zu bauen und zu trainieren (das Tor).
Modul 4: Deine eigene autograd engine
Du wirst in der Lage sein: eine Autograd-Engine im Reverse-Mode zu bauen (graph, topological order, backward rules, broadcasting, reductions); sie gegen nudging zu prüfen; ein Netzwerk darauf ohne handgeschriebene Gradients zu trainieren; eine neue Operation allein hinzuzufügen (the gate).
Modul 5: Optimierung
Du wirst in der Lage sein: zu erklären, warum eine gestreckte Landschaft langsam ist; minibatch SGD, momentum, RMSProp, Adam und AdamW, schedules und clipping zu bauen; einen optimiser für ein Problem, das du noch nicht gesehen hast, unter einem Budget (das Tor) auszuwählen und zu tunen.
Modul 6: Startgewichte und Normalisierung
Du wirst in der Lage sein: Signale durch Tiefe zu messen und Xavier, LeCun oder He Scales zu wählen; tote Einheiten zu finden; BatchNorm forward und backward, LayerNorm und RMSNorm zu bauen; die train/eval Falle zu vermeiden; Abkürzungen in tiefen Netzwerken zu nutzen.
Modul 7: Arbeiten mit neuen Daten
Du wirst in der Lage sein: Overfitting und Underfitting, Bias und Varianz zu messen; Weight Decay, Dropout, Augmentation und Early Stopping zu nutzen; Double Descent und Learning Curves ehrlich zu lesen; ein Modell auf Validierungsdaten zu tunen und es auf gehaltenen Daten (das Tor) zu berichten.
Modul 8: Run Clinic I
Du wirst in der Lage sein: die ersten zwei Prüfungen auf jedem Trainingslauf auszuführen; Sonden zu wählen, die wahrscheinliche Fehler aufteilen; fehlerhafte Läufe mit einer kleinen Änderung und innerhalb eines Budgets (das Gate) zu diagnostizieren und zu beheben; die Diagnosen eines KI-Helpers anhand von Beweisen zu beurteilen.
Modul 9: Ist es wirklich besser?
Du wirst in der Lage sein: Daten ohne Leckage zu teilen; Präzision und Recall zu nutzen; die Streuung über Seeds zu messen; Bootstrap-Fehlerbalken auf einen Score zu setzen; Kalibrierung zu messen; zwei Modelle mit einem gepaarten Intervall zu vergleichen und die Entscheidung (das Gate) zu treffen.
Modul 10: Netzwerke, die sehen (CNNs)
Du wirst in der Lage sein: convolution, padding, pooling und ihre Gradienten sowie im2col zu bauen; CNNs auf der house engine zu trainieren; aufgezeichnete runs über seeds zu lesen; saliency gegen einen Referenzwert zu testen; transfer zu nutzen; ein CNN unter einem Weight Budget (the gate) zu entwerfen.
Modul 11: Netzwerke mit Gedächtnis (RNNs)
Du wirst in der Lage sein: ein RNN und ein Charaktermodell zu bauen; backprop through time abzuleiten; vanishing gradients zu messen; LSTM gates zu bauen; aufgezeichnete Speicher und Bottleneck-Experimente zu lesen; mit Temperatur zu sampeln; ein kaputtes rekurrentes Modell (das Gate) zu reparieren.
Modul 12: Wörter als Zahlen (Embeddings)
Du wirst in der Lage sein: ein Embedding als Lookup behandeln; einen Pair-Merging-Tokenizer bauen; Wortvektoren durch Zählen und durch Skip-Gram erstellen; eine Schiefe messen und entfernen, die sie kopiert haben; all das alleine in einer Welt machen, die du noch nicht gesehen hast (the gate).
Modul 13: Attention und Transformers
Du wirst in der Lage sein: Aufmerksamkeit, die kausale Maske, Köpfe, Positionen, Layer Norm und einen ganzen Block zu bauen, der einem echten Modell entspricht; den Backward Pass von Attention abzuleiten; ein kleines GPT zu trainieren; aufgezeichnete Durchläufe zu lesen; mit einem Cache zu generieren; deine Engine auf PyTorch abzubilden; einen kaputten Transformer (das Gate) zu reparieren.
Modul 14: Run Clinic II
Du wirst in der Lage sein: defekte Sequenzmodelle zu diagnostizieren, einschließlich Cheats, die toll aussehen, Stalls, Schrittgrößen und Sampling-Fehler; fehlgeschlagene aufgezeichnete Durchläufe zu lesen; einen KI-Helfer anhand von Beweisen zu beurteilen; alleine mit einem Budget zu diagnostizieren (das Gate); deine Abschlussprüfung mit deinem Referenzwert zu vergleichen.
Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)
Du wirst in der Lage sein: Ziffern in wenige Zahlen zu pressen und sie wieder aufzubauen; mit Messungen zu sagen, warum ein autoencoder keine neuen Ziffern erstellen kann; die KL zwischen zwei Glockenkurven und dem ELBO zu berechnen; auf eine Weise zu sampeln, durch die du trainieren kannst; ein VAE zu trainieren, das neue Ziffern erstellt; zwischen Ziffern zu gehen; ein kollabiertes VAE alleine zu diagnostizieren und zu reparieren (das gate).
Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)
Optionales Modul, nicht nötig für das Zertifikat. Du wirst in der Lage sein: die GAN losses zu schreiben und aus ihren Steigungen sagen, wann der sättigende stagniert; ein GAN auf acht Blobs zu trainieren und seine Abdeckung zu beurteilen; einen Mode Collapse verursachen; stabilisierende Tricks über aufgezeichnete Seeds zu testen und zu berichten, was geholfen hat; einen convolutional generator auszuführen; ein kaputtes GAN alleine zu retten (the gate).
Modul 17: Rauschen rein, Bilder raus (Diffusion)
Du wirst in der Lage sein: Rauschen durch einen Zeitplan, Schritt für Schritt und in einem Sprung hinzuzufügen; die Pfeile des Netzwerks zurück zu den Daten lesen; einen noise predictor zu trainieren; mit DDPM zu sampeln und zu sagen, warum die saubere Schätzung gekappt ist; noise schedules und Zeit-Inputs durch Messung zu vergleichen; ein U-Net zu bauen; in weniger Schritten mit DDIM zu sampeln; Samples mit classifier-free guidance zu steuern; ein trainiertes Modell zu feintunen; eine neue Form allein anzupassen (das Gate).
Modul 18: Lernen ohne Labels
Du wirst in der Lage sein: Features durch Nearest-Neighbour-Übereinstimmung und durch eine von dir geschriebene Linear Probe zu beurteilen; mit Masked Prediction vorzutrainieren; InfoNCE zu schreiben und zu sagen, warum es Cross-Entropy ist; mit SimCLR vorzutrainieren und zu lesen, was seine Augmentationen entscheiden; Bildunterschriften Bildern zuzuordnen (optional); Features auf Objekten zu testen, die das Modell nie gesehen hat, allein (das Gate).
Modul 19: Größer, und wie viel besser (Skalierungsgesetze)
Du wirst in der Lage sein: einen Trainingslauf in FLOPs zu kostieren; ein Power Law mit einem Floor und Fehlerbalken anzupassen; abzulesen ob Gewichte oder Daten einen Lauf begrenzen; die beste Modellgröße für ein festes Budget zu planen; einen größeren Lauf vorherzusagen und ihn zu prüfen; einen echten Sprung von einer Metrik zu unterscheiden die einen macht; einen Lauf allein zu planen (das Gate).
Modul 20: Ein trainiertes Modell kostengünstig anpassen
Du wirst in der Lage sein: katastrophales Vergessen zu zeigen; LoRA zu zählen, zu bauen und zu gradient-checken; seinen Rank aus Messungen zu wählen; ein Modell auf deinem eigenen Text zu fine-tunen, ohne es zu ruinieren; zu sagen, wann Distillation hilft; Gewichte zu quantisieren und die Kosten vorherzusagen; Präferenzen mit DPO zu tunen und rechtzeitig zu stoppen; eine Methode für eine Situation zu wählen; ein Adaptationsziel allein mit einem Budget zu erreichen (das Gate).
Modul 21: Ein Blick in ein Modell
Du wirst in der Lage sein: zu sagen, ob Beweise über das Innere eines Modells ein Muster, ein Effekt oder ein Mechanismus sind; eine Probe mit einer Kontrolle auszuführen; Aktivierungen zu patchen, um zu finden, wo Informationen sind; Teile zu entfernen und auf Backups zu prüfen; einen Lehrbuchmechanismus auf dem Modell vor dir zu testen; Superposition in einem Spielzeug zu zeigen; einen Sparse Autoencoder zu trainieren und ein Feature Label auf ungesehenem Text zu testen; Grokking aus aufgezeichneten Durchläufen zu lesen und seine Wellen durch deren Entfernung zu prüfen; allein auf neuen Eingaben zu finden, wo Informationen sind (das Gate).
Modul 22: Behauptungen beurteilen
Du wirst in der Lage sein: ein geleaktes Testset durch Überlappung zu finden und den sauberen Score zu melden; einen durchschnittlichen Loss entlang des Teils aufteilen, Warum das wichtig ist; sagen, wie zero und mean ablation sich unterscheiden und die Methode melden; einen one-seed Unterschied von einem gemessenen mit Standardfehlern unterscheiden; ein Ergebnis auf neuen Seeds replizieren und die Einstellung finden, wo es nicht mehr gilt; eine Behauptung allein überprüfen (das Gate).
Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst
Du wirst in der Lage sein: ein Projekt mit einem FLOP Budget zu planen; eine baseline über seeds aufzurufen und auszuführen; Änderungen mit Fehlerbalken zu beurteilen; einen bug zu finden, der noch trainiert, durch gradient checking; eine Erkenntnis innerhalb deines Modells gegen eine untrainierte Kontrolle zu machen; einmal auf einem versteckten Satz mit Fehlerbalken zu evaluieren; eine model card zu schreiben, deren jede Zahl deinem run log entspricht; eine offline Datei zu exportieren, deren runs sich wiederholen.
Modul 24: Abschlussprüfung und Nachprüfung
Du wirst in der Lage sein: mit der KI aus zu zeigen, was Teil 2 auf allen vier Reglern gelehrt hat (Form C); deine Regler von der Startlinie bis zum Ende von Teil 2 zu vergleichen; einen Monat später zu prüfen, was blieb (Form D, optional).
Nur du kannst diese drucken oder speichern. Die Links sind in diesem Browser gespeichert. Um sie jemandem zu zeigen, teile den verify link vom Zertifikat.