Neurale Netwerke: Neuron tot Transformer
Bou self neurale netwerke, van een neuron tot 'n transformer, dan generatiewe modelle, diffusie, skaalwete en kyk binne-in 'n model, in eenvoudige Python en NumPy, opgelei in jou bl brasileiros. Skryf jou eie autograd, diagnose breek-runs, beoordeel aansprake deur bewys, en eindig met 'n afsluitprojek wat jy kan herhaal. Gratis, geen rekening nodig nie.
Real Python en NumPy is gereed in hierdie tab.
Geen installasie, geen rekening, geen opstel. Elke netwerk in hierdie kursus trens op jou eie toestel, en niks wat jy skryf verlaat dit nie. Module 1 verfris die Python en NumPy wat jy nodig het. Is jy reeds vlot? Sy laaste les is 'n kort hek wat jy eerste kan neem. Jy slaag dit en die kursus skuif jou reguit aan.
Daaglikse hersiening
Spasiale herhaling keer dat wat jy geleer het vervaag.
Module 0: Beginlyn
Jy sal in staat wees om: te sê hoe die kursus werk en wat dit meet; 'n voorspelling te maak en dit teen 'n run te toets; jou begintelling op die vier skiesies te rekord; jou toestel se spoed in FLOPs te meet.
Module 1: Python vir hierdie kursus
Jy sal kan: funksies oor lyste en dictionaries skryf en toets; NumPy arrays, shapes, slicing en broadcasting gebruik in plaas van loops; randomheid herhaalbaar seed; klein classes en closures skryf. Gekontroleer deur die Python gate (reeds vlot? doen dit eerste: passing skuif die module oor).
Module 2: Wiskunde en waarskynlikheid, net soos nodig
Jy sal kan: dot products, matrix multiplies en broadcasts bereken; hellingsgrade vind deur nudging en deur die chain rule, vir getalle en vir hele matrices; verduidelik hoe spread optel en wat 'n eigenvalue doen; die softmax gradient aflei; log-sum-exp, softmax en cross-entropy skryf wat nooit overflow nie (the gate).
Module 3: Neuron na MLP
Jy sal kan: 'n neuron, aktiverings en 'n twee-laag netwerk in NumPy bou; backprop by hand aflei en dit met 'n gradient checker nagaan; 'n syferleser tot bo 95% aanleer; jou eie netwerk vir 'n nuwe datastel bou en aanleer (die hek).
Module 4: Jou eie autograd-enjin
Jy sal kan: 'n reverse-mode autograd engine bou (graph, topological order, backward rules, broadcasting, reductions); dit teen nudging toets; 'n netwerk daarop train sonder handgeskrewe gradients; 'n nuwe operasie alleen byvoeg (the gate).
Module 5: Optimisering
Jy sal in staat wees om: te verduidelik waarom 'n gestrekte landskap stadig is; minibatch SGD, momentum, RMSProp, Adam en AdamW, schedules en clipping te bou; 'n optimiser vir 'n probleem wat jy nog nie gesien het, onder 'n begroting (die gate), te kies en te verfyn.
Module 6: Beginnende gewigte en normalisering
Jy sal kan: seine deur diepte meet en Xavier, LeCun of He skaalies kies; dooie eenhede vind; BatchNorm forward en backward, LayerNorm en RMSNorm bou; die train/eval-val vermy; kortpaaie in diep netwerke gebruik.
Module 7: Werk aan nuwe data
Jy sal kan: oor- en onderaanpassing, bias en variansie meet; weight decay, dropout, augmentation en early stopping gebruik; double descent en learning curves eerlik lees; 'n model op validation data aanpas en dit op held-out data (the gate) rapporteer.
Module 8: Run Kliniek I
Jy sal kan: die eerste twee kontroles op enige opleidingsloop uitvoer; sondes kies wat waarskynlike foute skei; gebreekte loops met 'n klein verandering diagnoseer en regmaak, binne 'n begroting (die gate); 'n KI-helper se diagnoses deur bewys beoordeel.
Module 9: Is dit regtig beter?
Jy sal kan: data sonder lekkas verdeel; presisie en recall gebruik; spreiding oor seeds meet; bootstrap-foutbalke op 'n telling sit; kalibrasie meet; twee modelle met 'n gepaaide interval vergelyk en die besluit (die gate) neem.
Module 10: Netwerke wat sien (CNNs)
Jy sal kan: konwolusie, padding, pooling en hul gradiënte, en im2col bou; CNNs op die house engine train; opgetekende runs oor seeds lees; saliency teen 'n baseline toets; transfer gebruik; 'n CNN onder 'n gewigbegroting ontwerp (the gate).
Module 11: Netwerke met geheue (RNNs)
Jy sal kan: 'n RNN en 'n karaktermodel bou; backprop deur tyd aflei; verdwynnende gradiënte meet; LSTM gates bou; opgetekende geheue en bottleneck eksperimente lees; met temperatuur monsters neem; 'n gebreekte terugkerende model (die gate) herstel.
Module 12: Woorde as nommers (embeddings)
Jy sal in staat wees om: 'n embedding as 'n lookup te behandel; 'n pair-merging tokenizer te bou; woordvektore te maak deur te tel en deur skip-gram; 'n skew wat hulle gekopie het te meet en te verwyder; om alles alleen te doen op 'n wêreld wat jy nog nie gesien het nie (the gate).
Module 13: Aandag en transformers
Jy sal kan: aandag bou, die oorlewingsmasker, koppe, posisies, laagnormering en 'n hele blok wat by 'n regte model pas; die aandag se terugwaartse pad aflei; 'n klein GPT aanleer; opgetekende uitvoerings lees; met 'n kiese genereer; jou enjin op PyTorch kaart; 'n gebreekte transformer (die hek) herstel.
Module 14: Lopie-kliniek II
Jy sal in staat wees om: gebreekte sequence models te diagnose, insluitend cheats wat goed lyk, stalls, step sizes en sampling faults; gefaalde recorded runs te lees; 'n AI helper volgens bewys te beoordeel; alleen op 'n begroting te diagnose (the gate); jou exit exam met jou baseline te vergelyk.
Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)
Jy sal kan: syfers in 'n paar getalle druk en hulle herbou; sê, met metings, waarom 'n autoencoder nie nuwe syfers kan maak nie; die KL tussen twee klokkurwes en die ELBO bereken; monsters op 'n manier neem wat jy kan aanleer; 'n VAE train wat nuwe syfers maak; tussen syfers stap; 'n vervalle VAE alleen diagnoseer en regstel (die gate).
Module 16: Twee netwerke in 'n speletjie (GANs, opsioneel)
Opsionele module, nie nodig vir die sertifikaat nie. Jy sal in staat wees om: die GAN losses te skryf en uit hul hellings sê wanneer die saturende een stank; 'n GAN op agt blobs te train en sy dekking te beoordeel; mode collapse te laat gebeur; stabiliseringstruke oor opgeneemde seeds te toets en rapporteer wat gehelp het; 'n konwolusionele generator te hardloop; 'n gebreekte GAN alleen te red (die gate).
Module 17: Ruis in, prente uit (diffusion)
Jy sal kan: geraas by 'n skedule voeg, stap vir stap en in een sprong; die netwerk se arrows teruglees na die data; 'n noise predictor aanleer; met DDPM monster neem en sê waarom die skoon skatting geknip is; noise schedules en time inputs by meting vergelyk; 'n U-Net bou; in minder stappe met DDIM monster neem; monsters met classifier-free guidance stuur; 'n getoë model verfyn; 'n nuwe vorm alleen aanpas (die gate).
Module 18: Leer sonder etikette
Jy sal in staat wees om: kenmer te beoordeel deur nearest-neighbour ooreenstemming en deur 'n lineêre sonde wat jy skryf; vooraf te train met masked prediction; InfoNCE te skryf en te sê waarom dit cross-entropy is; vooraf te train met SimCLR en te lees wat sy augmentations besluit; onderskrifte by prente te pas (opsioneel); kenmer op voorwerpe wat die model nooit gesien het, alleen te toets (die gate).
Module 19: Groter, en hoeveel beter (skaleringswette)
Jy sal kan: 'n opleidingsloop in FLOPs berek; 'n magwet met 'n vloer en foutbalke aanpas; lees of gewigte of data 'n loop beperk; die beste modelgrootte vir 'n vaste begroting beplan; 'n groter loop voorspel en dit nagaan; 'n werklike sprong van 'n metriek wat een maak onderskei; 'n loop alleen beplan (die hek).
Module 20: Aanpas van 'n getoë model goedkoop
Jy sal in staat wees om: katastrofiese vergeetnis te wys; LoRA te tel, bou en gradient-check; sy rang uit metings te kies; 'n model op jou eie teks te fine-tune sonder om dit te vernietig; te sê wanneer distillering help; gewigte te quantiseer en die koste te voorspel; voorkeure met DPO te tune en betyds te stop; 'n metode vir 'n situasie te kies; 'n aanpassingsdoel alleen binne 'n begroting te bereik (die gate).
Module 21: Kyk binne in 'n model
Jy sal kan: sê of bewys oor 'n model se binnekant 'n patroon, 'n effek of 'n meganisme is; 'n probe met 'n kontrol_ loop; aktiverings pats om te vind waar inligting is; dele verwyder en op rugsteun toets; 'n handboek meganisme op die model voor jou toets; superposisie in 'n speelding ding wys; 'n sparse autoencoder aanleer en 'n feature label op ongesiene teks toets; grokking uit opgeneemde runs lees en sy golwe deur dit te verwyder kontroleer; vind waar inligting op nuwe insets alleen is (die gate).
Module 22: Beoordeel aansprake
Jy sal kan: 'n lekker testset vind deur oorklapping en die skoon telling rapporteer; 'n gemiddelde verlies langs die deel wat saak maak verdeel; sê hoe zero en mean ablation verskil en die metode rapporteer; 'n een-saad verskil van 'n gemeette een met standaardfoute vertel; 'n resultaat op nuwe sade repliseer en die instelling vind waar dit ophou om te hou; 'n aanspraak alleen hersien (die gate).
Module 23: Capstone-studio: 'n model kaart wat jy kan hardloop
Jy sal in staat wees om: 'n projek met 'n FLOP-begroting te beplan; 'n baseline oor seeds te roep en te hardloop; veranderinge met foutbalke te beoordeel; 'n bug wat steeds traineer deur gradiëntkontrole te vind; 'n bevinding binne jou model teen 'n ongetrainde kontrole te maak; een keer op 'n verborge stel met foutbalke te evalueer; 'n modelkaart te skryf waarvan elke nommer by jou run log pas; een offline-lêer te uitvoer waarvan die runs herspeel.
Module 24: Finale-eksamen en hertoetsing
Jy sal kan: met die AI af, wys wat Deel 2 op al vier skiesels geleer het (vorm C); jou skiesels van die beginlyn tot die einde van Deel 2 vergelyk; 'n maand later nagaan wat gebly het (vorm D, opsioneel).
Slegs jy kan hierdie druk of stoor. Die skakels word in hierdie blavier gestoor. Om dit vir iemand te wys, deel die verify skakel vanaf die sertifikaat.