Alle Kurse Kostenlos · Kein Konto · In deinem Browser

Neuronale Netze: Vom Neuron zum Transformer

Baue neuronale Netze selbst, von einem Neuron bis zu einem Transformer, dann generative Modelle, Diffusion, Scaling Laws und den Blick in ein Modell, in einfachem Python und NumPy, trainiert in deinem Browser. Schreibe dein eigenes autograd, diagnostiziere fehlerhafte Durchläufe, bewerte Behauptungen anhand von Beweisen und schließe mit einem Capstone ab, den du wiederholen kannst. Kostenlos, kein Konto.

25 Module 246 Lektionen 246 automatisch korrigierte Übungen Selbstgesteuert · ~143 Material Im Browser trainiert, keine GPU nötigVorhersage der Kurve, dann ausführen
Dein Fortschritt 0 / 246 Übungen abgeschlossen
Tägliches Ziel
Modul 1 · 60 min

Modul 0: Startlinie

Du wirst in der Lage sein: zu sagen, wie der Kurs funktioniert und was er misst; eine Vorhersage zu machen und sie gegen einen Durchlauf zu prüfen; deinen Startwert auf den vier Ziffernblättern aufzuzeichnen; die Geschwindigkeit deines Geräts in FLOPs zu messen.

Modul 2 · über 8 h

Modul 1: Python für diesen Kurs

Du wirst in der Lage sein: Funktionen über Listen und Dictionaries zu schreiben und zu testen; NumPy arrays, shapes, slicing und broadcasting anstelle von Schleifen zu verwenden; Zufall reproduzierbar zu setzen; kleine Klassen und Closures zu schreiben. Überprüft durch das Python gate (schon fließend? mache es zuerst: das Bestehen überspringt das Modul).

Schritt 1 von 7 · Netzwerkschicht Startzeile Schließe alle 5 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 3 · über 7 h

Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Du wirst in der Lage sein: Skalarprodukte, Matrixmultiplikationen und Broadcasts zu berechnen; Steigungen durch Nudging und durch die Kettenregel zu finden, für Zahlen und für ganze Matrizen; zu erklären, wie Spread sich summiert und was ein Eigenwert tut; den Softmax-Gradienten abzuleiten; log-sum-exp, softmax und cross-entropy zu schreiben, die niemals überlaufen (the gate).

Schritt 2 von 7 · Netzwerkschicht Grundlagen Schließe alle 3 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 8 · über 4 h

Modul 7: Arbeiten mit neuen Daten

Du wirst in der Lage sein: Overfitting und Underfitting, Bias und Varianz zu messen; Weight Decay, Dropout, Augmentation und Early Stopping zu nutzen; Double Descent und Learning Curves ehrlich zu lesen; ein Modell auf Validierungsdaten zu tunen und es auf gehaltenen Daten (das Tor) zu berichten.

Modul 9 · über 4 h

Modul 8: Run Clinic I

Du wirst in der Lage sein: die ersten zwei Prüfungen auf jedem Trainingslauf auszuführen; Sonden zu wählen, die wahrscheinliche Fehler aufteilen; fehlerhafte Läufe mit einer kleinen Änderung und innerhalb eines Budgets (das Gate) zu diagnostizieren und zu beheben; die Diagnosen eines KI-Helpers anhand von Beweisen zu beurteilen.

Schritt 3 von 7 · Netzwerkschicht Das Training zum Laufen bringen Schließe alle 40 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 14 · über 10 h

Modul 13: Attention und Transformers

Du wirst in der Lage sein: Aufmerksamkeit, die kausale Maske, Köpfe, Positionen, Layer Norm und einen ganzen Block zu bauen, der einem echten Modell entspricht; den Backward Pass von Attention abzuleiten; ein kleines GPT zu trainieren; aufgezeichnete Durchläufe zu lesen; mit einem Cache zu generieren; deine Engine auf PyTorch abzubilden; einen kaputten Transformer (das Gate) zu reparieren.

Modul 15 · über 4 h

Modul 14: Run Clinic II

Du wirst in der Lage sein: defekte Sequenzmodelle zu diagnostizieren, einschließlich Cheats, die toll aussehen, Stalls, Schrittgrößen und Sampling-Fehler; fehlgeschlagene aufgezeichnete Durchläufe zu lesen; einen KI-Helfer anhand von Beweisen zu beurteilen; alleine mit einem Budget zu diagnostizieren (das Gate); deine Abschlussprüfung mit deinem Referenzwert zu vergleichen.

Schritt 4 von 7 · Netzwerkschicht Architekturen für die Struktur Schließe alle 56 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 16 · über 5 h

Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)

Du wirst in der Lage sein: Ziffern in wenige Zahlen zu pressen und sie wieder aufzubauen; mit Messungen zu sagen, warum ein autoencoder keine neuen Ziffern erstellen kann; die KL zwischen zwei Glockenkurven und dem ELBO zu berechnen; auf eine Weise zu sampeln, durch die du trainieren kannst; ein VAE zu trainieren, das neue Ziffern erstellt; zwischen Ziffern zu gehen; ein kollabiertes VAE alleine zu diagnostizieren und zu reparieren (das gate).

Modul 17 · über 4 h

Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)

Optionales Modul, nicht nötig für das Zertifikat. Du wirst in der Lage sein: die GAN losses zu schreiben und aus ihren Steigungen sagen, wann der sättigende stagniert; ein GAN auf acht Blobs zu trainieren und seine Abdeckung zu beurteilen; einen Mode Collapse verursachen; stabilisierende Tricks über aufgezeichnete Seeds zu testen und zu berichten, was geholfen hat; einen convolutional generator auszuführen; ein kaputtes GAN alleine zu retten (the gate).

Modul 18 · über 8 h

Modul 17: Rauschen rein, Bilder raus (Diffusion)

Du wirst in der Lage sein: Rauschen durch einen Zeitplan, Schritt für Schritt und in einem Sprung hinzuzufügen; die Pfeile des Netzwerks zurück zu den Daten lesen; einen noise predictor zu trainieren; mit DDPM zu sampeln und zu sagen, warum die saubere Schätzung gekappt ist; noise schedules und Zeit-Inputs durch Messung zu vergleichen; ein U-Net zu bauen; in weniger Schritten mit DDIM zu sampeln; Samples mit classifier-free guidance zu steuern; ein trainiertes Modell zu feintunen; eine neue Form allein anzupassen (das Gate).

Modul 19 · über 6 h

Modul 18: Lernen ohne Labels

Du wirst in der Lage sein: Features durch Nearest-Neighbour-Übereinstimmung und durch eine von dir geschriebene Linear Probe zu beurteilen; mit Masked Prediction vorzutrainieren; InfoNCE zu schreiben und zu sagen, warum es Cross-Entropy ist; mit SimCLR vorzutrainieren und zu lesen, was seine Augmentationen entscheiden; Bildunterschriften Bildern zuzuordnen (optional); Features auf Objekten zu testen, die das Modell nie gesehen hat, allein (das Gate).

Schritt 5 von 7 · Netzwerkschicht Netzwerke, die Dinge machen Schließe alle 26 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 20 · über 5 h

Modul 19: Größer, und wie viel besser (Skalierungsgesetze)

Du wirst in der Lage sein: einen Trainingslauf in FLOPs zu kostieren; ein Power Law mit einem Floor und Fehlerbalken anzupassen; abzulesen ob Gewichte oder Daten einen Lauf begrenzen; die beste Modellgröße für ein festes Budget zu planen; einen größeren Lauf vorherzusagen und ihn zu prüfen; einen echten Sprung von einer Metrik zu unterscheiden die einen macht; einen Lauf allein zu planen (das Gate).

Modul 21 · über 5 h

Modul 20: Ein trainiertes Modell kostengünstig anpassen

Du wirst in der Lage sein: katastrophales Vergessen zu zeigen; LoRA zu zählen, zu bauen und zu gradient-checken; seinen Rank aus Messungen zu wählen; ein Modell auf deinem eigenen Text zu fine-tunen, ohne es zu ruinieren; zu sagen, wann Distillation hilft; Gewichte zu quantisieren und die Kosten vorherzusagen; Präferenzen mit DPO zu tunen und rechtzeitig zu stoppen; eine Methode für eine Situation zu wählen; ein Adaptationsziel allein mit einem Budget zu erreichen (das Gate).

Modul 22 · über 8 h

Modul 21: Ein Blick in ein Modell

Du wirst in der Lage sein: zu sagen, ob Beweise über das Innere eines Modells ein Muster, ein Effekt oder ein Mechanismus sind; eine Probe mit einer Kontrolle auszuführen; Aktivierungen zu patchen, um zu finden, wo Informationen sind; Teile zu entfernen und auf Backups zu prüfen; einen Lehrbuchmechanismus auf dem Modell vor dir zu testen; Superposition in einem Spielzeug zu zeigen; einen Sparse Autoencoder zu trainieren und ein Feature Label auf ungesehenem Text zu testen; Grokking aus aufgezeichneten Durchläufen zu lesen und seine Wellen durch deren Entfernung zu prüfen; allein auf neuen Eingaben zu finden, wo Informationen sind (das Gate).

Modul 23 · über 5 h

Modul 22: Behauptungen beurteilen

Du wirst in der Lage sein: ein geleaktes Testset durch Überlappung zu finden und den sauberen Score zu melden; einen durchschnittlichen Loss entlang des Teils aufteilen, Warum das wichtig ist; sagen, wie zero und mean ablation sich unterscheiden und die Methode melden; einen one-seed Unterschied von einem gemessenen mit Standardfehlern unterscheiden; ein Ergebnis auf neuen Seeds replizieren und die Einstellung finden, wo es nicht mehr gilt; eine Behauptung allein überprüfen (das Gate).

Schritt 6 von 7 · Netzwerkschicht Skaliere und verstehe Schließe alle 36 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.
Modul 24 · über 7 h

Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst

Du wirst in der Lage sein: ein Projekt mit einem FLOP Budget zu planen; eine baseline über seeds aufzurufen und auszuführen; Änderungen mit Fehlerbalken zu beurteilen; einen bug zu finden, der noch trainiert, durch gradient checking; eine Erkenntnis innerhalb deines Modells gegen eine untrainierte Kontrolle zu machen; einmal auf einem versteckten Satz mit Fehlerbalken zu evaluieren; eine model card zu schreiben, deren jede Zahl deinem run log entspricht; eine offline Datei zu exportieren, deren runs sich wiederholen.

Modul 25 · 50 min

Modul 24: Abschlussprüfung und Nachprüfung

Du wirst in der Lage sein: mit der KI aus zu zeigen, was Teil 2 auf allen vier Reglern gelehrt hat (Form C); deine Regler von der Startlinie bis zum Ende von Teil 2 zu vergleichen; einen Monat später zu prüfen, was blieb (Form D, optional).

Schritt 7 von 7 · Netzwerkschicht Abschlussarbeit und Beweis Schließe alle 10 Übungen in diesem Abschnitt ab, um seine Ebene zu verdienen.