Tutti i corsi Gratis · Senza account · Nel tuo browser

Reti neurali: dal neurone al transformer

Costruisci reti neurali con le tue mani, da un singolo neurone a un transformer, poi modelli generativi, diffusione, leggi di scala e lo sguardo dentro un modello, in semplice Python e NumPy, addestrati nel tuo browser. Scrivi il tuo autograd, diagnostica gli addestramenti rotti, giudica le affermazioni in base alle prove, e finisci con un progetto finale che puoi rieseguire. Gratis, senza account.

25 moduli 246 lezioni 246 esercizi corretti in automatico Al tuo ritmo · ~143 h di materiale Addestrato nel tuo browser, senza GPUPrevedi la curva, poi eseguila
I tuoi progressi 0 / 246 esercizi completati
Obiettivo giornaliero
Modulo 1 · 60 min

Modulo 0: Linea di partenza

Saprai: dire come funziona il corso e che cosa misura; fare una previsione e confrontarla con un'esecuzione; registrare il tuo punteggio di partenza sui quattro quadranti; misurare la velocità del tuo dispositivo in FLOP.

Modulo 2 · circa 8 h

Modulo 1: Python per questo corso

Saprai: scrivere e verificare funzioni su liste e dizionari; usare array, forme, slicing e broadcasting di NumPy al posto dei cicli; fissare il seme della casualità in modo riproducibile; scrivere piccole classi e closure. Verificato dal cancello di Python (lo conosci già bene? affrontalo per primo: superarlo salta il modulo).

Tappa 1 di 7 · livello della rete Linea di partenza Supera tutti i 5 esercizi di questa tappa per guadagnarne il livello.
Modulo 3 · circa 7 h

Modulo 2: Matematica e probabilità, solo quanto serve

Saprai: calcolare prodotti scalari, moltiplicazioni di matrici e broadcasting; trovare pendenze spostando di poco e con la regola della catena, per numeri e per matrici intere; spiegare come si somma la dispersione e che cosa fa un autovalore; ricavare il gradiente della softmax; scrivere log-sum-exp, softmax e cross-entropy che non vanno mai in overflow (il cancello).

Tappa 2 di 7 · livello della rete Fondamenta Supera tutti i 3 esercizi di questa tappa per guadagnarne il livello.
Tappa 3 di 7 · livello della rete Far funzionare l'addestramento Supera tutti i 40 esercizi di questa tappa per guadagnarne il livello.
Modulo 14 · circa 10 h

Modulo 13: Attenzione e transformer

Saprai: costruire l'attenzione, la maschera causale, le teste, le posizioni, il layer norm e un blocco intero che coincide con un modello vero; ricavare la passata all'indietro dell'attenzione; addestrare un piccolo GPT; leggere esecuzioni registrate; generare con una cache; collegare il tuo motore a PyTorch; riparare un transformer rotto (il cancello).

Tappa 4 di 7 · livello della rete Architetture per la struttura Supera tutti i 56 esercizi di questa tappa per guadagnarne il livello.
Modulo 17 · circa 4 h

Modulo 16: Due reti in una partita (GAN, facoltativo)

Modulo facoltativo, non serve per il certificato. Saprai: scrivere le loss delle GAN e dire dalle loro pendenze quando quella saturante si blocca; addestrare una GAN su otto macchie e giudicarne la copertura; far succedere il collasso dei modi; testare trucchi di stabilizzazione su seed registrati e riferire che cosa ha aiutato; eseguire un generatore convoluzionale; salvare da solo una GAN rotta (il cancello).

Modulo 18 · circa 8 h

Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Saprai: aggiungere rumore secondo un programma, passo per passo e in un salto solo; leggere le frecce della rete fino ai dati; addestrare un predittore di rumore; campionare con DDPM e dire perché la stima pulita viene tagliata; confrontare programmi di rumore e input del tempo con misure; costruire una U-Net; campionare in meno passi con DDIM; guidare i campioni con la classifier-free guidance; rifinire un modello addestrato; adattarti da solo a una forma nuova (il cancello).

Modulo 19 · circa 6 h

Modulo 18: Imparare senza etichette

Saprai: giudicare le feature con l'accordo tra vicini più prossimi e con una sonda lineare scritta da te; pre-addestrare con la previsione mascherata; scrivere InfoNCE e dire perché è cross-entropy; pre-addestrare con SimCLR e leggere che cosa decidono le sue augmentation; abbinare didascalie a immagini (facoltativo); testare da solo le feature su oggetti che il modello non ha mai visto (il cancello).

Tappa 5 di 7 · livello della rete Reti che creano cose Supera tutti i 26 esercizi di questa tappa per guadagnarne il livello.
Modulo 20 · circa 5 h

Modulo 19: Più grande, e quanto migliore (leggi di scala)

Saprai: calcolare il costo di un addestramento in FLOP; fare il fit di una legge di potenza con un pavimento e barre d'errore; leggere se a limitare un'esecuzione sono i pesi o i dati; pianificare la dimensione migliore del modello per un budget fisso; prevedere un'esecuzione più grande e controllarla; distinguere un salto vero da una metrica che lo crea; pianificare da solo un'esecuzione (il cancello).

Modulo 21 · circa 5 h

Modulo 20: Adattare a poco prezzo un modello addestrato

Saprai: mostrare l'oblio catastrofico; contare, costruire e controllare il gradiente di LoRA; sceglierne il rango a partire da misure; fare il fine-tuning di un modello sul tuo testo senza rovinarlo; dire quando la distillazione aiuta; quantizzare i pesi e prevederne il costo; rifinire le preferenze con DPO e fermarti in tempo; scegliere un metodo per una situazione; raggiungere da solo un obiettivo di adattamento con un budget (il cancello).

Modulo 22 · circa 8 h

Modulo 21: Guardare dentro un modello

Saprai: dire se una prova sull'interno di un modello è uno schema, un effetto o un meccanismo; eseguire una sonda con un controllo; fare activation patching per trovare dove sta l'informazione; togliere parti e controllare se ci sono riserve; testare un meccanismo da manuale sul modello che hai davanti; mostrare la sovrapposizione in un modello giocattolo; addestrare uno sparse autoencoder e testare l'etichetta di una feature su testo mai visto; leggere il grokking da esecuzioni registrate e controllarne le onde togliendole; trovare da solo dove sta l'informazione su input nuovi (il cancello).

Modulo 23 · circa 5 h

Modulo 22: Giudicare le affermazioni

Saprai: trovare un insieme di test trapelato tramite sovrapposizione e riportare il punteggio pulito; scomporre una loss media lungo la parte che conta; dire in che cosa differiscono l'ablazione a zero e quella con la media e riportare il metodo; distinguere una differenza su un solo seed da una misurata con gli errori standard; replicare un risultato su seed nuovi e trovare l'impostazione in cui smette di valere; esaminare da solo un'affermazione (il cancello).

Tappa 6 di 7 · livello della rete Scala e comprensione Supera tutti i 36 esercizi di questa tappa per guadagnarne il livello.
Modulo 24 · circa 7 h

Modulo 23: Studio del progetto finale: una model card che puoi eseguire

Saprai: pianificare un progetto con un budget di FLOP; indovinare ed eseguire una baseline su più seed; giudicare i cambiamenti con barre d'errore; trovare con il controllo del gradiente un bug che addestra comunque; fare una scoperta dentro il tuo modello rispetto a un controllo non addestrato; valutare una sola volta su un insieme nascosto con barre d'errore; scrivere una model card in cui ogni numero coincide con il registro delle esecuzioni; esportare un unico file offline le cui esecuzioni si possono rieseguire.

Modulo 25 · 50 min

Modulo 24: Esame finale e nuovo test

Saprai: mostrare, con l'IA spenta, che cosa ha insegnato la Parte 2 su tutti e quattro i quadranti (forma C); confrontare i tuoi quadranti dalla linea di partenza alla fine della Parte 2; controllare un mese dopo che cosa è rimasto (forma D, facoltativa).

Tappa 7 di 7 · livello della rete Progetto finale e prova Supera tutti i 10 esercizi di questa tappa per guadagnarne il livello.