Redes Neurais: De Neurônio a Transformer
Construa redes neurais por conta própria, de um neurônio a um transformer, depois modelos generativos, difusão, leis de escala e olhando dentro de um modelo, em Python puro e NumPy, treinados no seu navegador. Escreva seu próprio autograd, diagnostique execuções quebradas, julgue afirmações por evidências e termine com um projeto final que você pode repetir. Grátis, sem conta.
Real Python e NumPy estão prontos nesta aba.
Sem instalação, sem conta, sem configuração. Toda rede neste curso treina no seu próprio dispositivo, e nada que você escrever sai dele. O Módulo 1 revisa o Python e o NumPy que você precisa. Já é fluente? Sua última lição é um portão curto que você pode fazer primeiro: passe por ele e o curso te move direto para frente.
Revisão diária
A repetição espaçada impede que o que você aprendeu se apague.
Módulo 0: Linha de início
Você vai ser capaz de: dizer como o curso funciona e o que ele mede; fazer uma previsão e conferir com uma execução; registrar sua pontuação inicial nos quatro seletores; medir a velocidade do seu dispositivo em FLOPs.
Módulo 1: Python para este curso
Você vai ser capaz de: escrever e testar functions sobre listas e dicionários; usar NumPy arrays, shapes, slicing e broadcasting em vez de laços; definir a semente da aleatoriedade de forma reproduzível; escrever pequenas classes e closures. Verificado pelo Python gate (já fluente? faça primeiro: passar pula o módulo).
Módulo 2: Matemática e probabilidade, apenas conforme necessário
Você vai ser capaz de: calcular produtos escalares, multiplicações de matrizes e broadcasts; encontrar inclinações por ajuste e pela regra da cadeia, para números e para matrizes inteiras; explicar como a dispersão se soma e o que um eigenvalue faz; derivar o gradiente softmax; escrever log-sum-exp, softmax e cross-entropy que nunca transbordam (o portão).
Módulo 3: Neurônio para MLP
Você vai ser capaz de: construir um neurônio, ativações e uma rede de duas camadas em NumPy; derivar backprop manualmente e conferir com um gradient checker; treinar um leitor de dígitos acima de 95%; construir e treinar sua própria rede para um novo dataset (o gate).
Módulo 4: Seu próprio motor de autograd
Você vai ser capaz de: construir um motor de autograd em modo reverso (graph, topological order, backward rules, broadcasting, reductions); testá-lo contra nudging; treinar uma rede nele sem gradientes escritos à mão; adicionar uma nova operação sozinho (the gate).
Módulo 5: Otimização
Você será capaz de: explicar por que uma paisagem esticada é lenta; construir minibatch SGD, momentum, RMSProp, Adam e AdamW, schedules e clipping; escolher e ajustar um optimiser para um problema que você não viu, sob um orçamento (o portão).
Módulo 6: Pesos iniciais e normalização
Você vai ser capaz de: medir sinais através da profundidade e escolher as escalas Xavier, LeCun ou He; encontrar unidades mortas; construir BatchNorm forward e backward, LayerNorm e RMSNorm; evitar a armadilha train/eval; usar atalhos em redes profundas.
Módulo 7: Trabalhando com novos dados
Você vai ser capaz de: medir over- e underfitting, viés e variância; usar weight decay, dropout, augmentation e early stopping; ler double descent e learning curves honestamente; ajustar um modelo em dados de validação e relatá-lo em dados reservados (o portão).
Módulo 8: Clínica de Execução I
Você vai ser capaz de: rodar os dois primeiros testes em qualquer treinamento; escolher sondas que separam falhas prováveis; diagnosticar e corrigir execuções quebradas com uma pequena mudança, dentro de um Orçamento (o portão); julgar os diagnósticos de um ajudante de IA por evidências.
Módulo 9: É realmente melhor?
Você vai ser capaz de: separar dados sem vazamento; usar precisão e revocação; medir a dispersão sobre seeds; colocar barras de erro de bootstrap em um score; medir calibração; comparar dois modelos com um intervalo pareado e tomar a decisão (o portão).
Módulo 10: Redes que veem (CNNs)
Você vai ser capaz de: construir convolução, padding, pooling e seus gradientes, e im2col; treinar CNNs no motor da casa; ler execuções gravadas sobre seeds; testar saliência contra uma referência; usar transfer; projetar uma CNN sob um orçamento de peso (o gate).
Módulo 11: Redes com memória (RNNs)
Você vai ser capaz de: construir uma RNN e um modelo de caractere; derivar backprop through time; medir vanishing gradients; construir gates de LSTM; ler experimentos de recorded memory e bottleneck; amostrar com temperature; consertar um modelo recorrente quebrado (o gate).
Módulo 12: Palavras como números (embeddings)
Você será capaz de: tratar um embedding como uma busca; construir um tokenizer de mesclagem de pares; criar vetores de palavras por contagem e por skip-gram; medir e remover um viés que eles copiaram; fazer tudo isso sozinho em um mundo que você não viu (o portão).
Módulo 13: Atenção e transformers
Você vai ser capaz de: construir atenção, a causal mask, heads, positions, layer norm e um bloco inteiro que corresponde a um modelo real; derivar o backward pass da atenção; treinar um GPT pequeno; ler execuções gravadas; gerar com um cache; mapear seu engine no PyTorch; consertar um transformer quebrado (o gate).
Módulo 14: Clínica de Execução II
Você vai ser capaz de: diagnosticar modelos de sequência quebrados, incluindo trapaças que parecem ótimas, travamentos, tamanhos de passo e falhas de amostragem; ler execuções gravadas que falharam; julgar um ajudante de IA por evidências; diagnosticar sozinho com um Orçamento (o portão); comparar seu exame de saída com sua referência.
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Você vai ser capaz de: comprimir dígitos em alguns números e reconstruí-los; dizer, com medições, por que um autoencoder não pode criar novos dígitos; calcular o KL entre duas curvas de sino e o ELBO; amostrar de um jeito que você possa treinar; treinar um VAE que cria novos dígitos; caminhar entre dígitos; diagnosticar e corrigir um VAE colapsado sozinho (o gate).
Módulo 16: Duas redes em um jogo (GANs, opcional)
Módulo opcional, não necessário para o certificado. Você será capaz de: escrever as GAN losses e dizer pelos seus declives quando a saturante trava; treinar uma GAN em oito blobs e julgar sua cobertura; fazer o mode collapse acontecer; testar truques de estabilização sobre seeds gravadas e relatar o que ajudou; rodar um convolutional generator; resgatar uma GAN quebrada sozinho (the gate).
Módulo 17: Ruído entra, imagens saem (difusão)
Você vai ser capaz de: adicionar ruído por um cronograma, passo a passo e em um salto; ler as setas da rede de volta para os dados; treinar um preditor de ruído; amostrar com DDPM e dizer por que a estimativa limpa é cortada; comparar cronogramas de ruído e entradas de tempo por medição; construir uma U-Net; amostrar em menos passos com DDIM; guiar amostras com classifier-free guidance; ajustar um modelo treinado; ajustar uma nova forma sozinho (o portão).
Módulo 18: Aprendizado sem rótulos
Você vai ser capaz de: julgar features por acordo de vizinho mais próximo e por uma linear probe que você escrever; pré-treinar com masked prediction; escrever InfoNCE e dizer por que é cross-entropy; pré-treinar com SimCLR e ler o que as augmentations decidem; combinar captions com pictures (opcional); testar features em objetos que o modelo nunca viu, sozinho (o gate).
Módulo 19: Maior, e o quanto melhor (leis de escala)
Você vai ser capaz de: calcular o custo de uma execução de treinamento em FLOPs; ajustar uma lei de potência com um piso e barras de erro; ler se pesos ou dados limitam uma execução; planejar o melhor tamanho de modelo para um orçamento fixo; prever uma execução maior e verificá-la; distinguir um salto real de uma métrica que o cria; planejar uma execução sozinho (o portão).
Módulo 20: Adaptando um modelo treinado de forma barata
Você vai ser capaz de: mostrar o esquecimento catastrófico; contar, construir e fazer o gradient-check do LoRA; escolher o rank dele a partir de medições; fazer o fine-tune de um modelo no seu próprio texto sem estragá-lo; dizer quando a destilação ajuda; quantizar pesos e prever o custo; ajustar preferências com DPO e parar a tempo; escolher um método para uma situação; atingir uma meta de adaptação com um Orçamento sozinho (o gate).
Módulo 21: Olhando dentro de um modelo
Você vai ser capaz de: dizer se evidências sobre o interior de um modelo são um padrão, um efeito ou um mecanismo; rodar uma probe com um controle; fazer patch em ativações para encontrar onde a informação está; remover partes e verificar o backup; testar um mecanismo de livro no modelo à sua frente; mostrar superposição em um brinquedo; treinar um sparse autoencoder e testar um feature label em texto não visto; ler grokking de execuções gravadas e verificar suas ondas removendo-as; encontrar onde a informação está apenas em novas entradas (o gate).
Módulo 22: Julgando afirmações
Você será capaz de: encontrar um conjunto de teste vazado por sobreposição e relatar a pontuação limpa; dividir uma perda média ao longo da parte que importa; dizer como a ablação de zero e média diferem e relatar o método; distinguir uma diferença de uma semente de uma medida com erros padrão; replicar um resultado em novas sementes e encontrar a configuração onde ele para de valer; revisar uma afirmação sozinho (o portão).
Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar
Você vai ser capaz de: planejar um projeto com um orçamento de FLOP; chamar e rodar uma referência sobre seeds; julgar mudanças com barras de erro; encontrar um bug que ainda treina por gradient checking; fazer uma descoberta dentro do seu modelo contra um controle não treinado; avaliar uma vez em um conjunto oculto com barras de erro; escrever um model card onde cada número corresponde ao seu run log; exportar um arquivo offline cujas execuções sejam reproduzíveis.
Módulo 24: Exame final e reteste
Você vai ser capaz de: mostrar, com a IA desligada, o que a Parte 2 ensinou em todos os quatro seletores (formulário C); comparar seus seletores da linha de partida até o fim da Parte 2; verificar um mês depois o que permaneceu (formulário D, opcional).
Só você pode imprimir ou salvar estes. Os links estão salvos neste navegador. Para mostrar a alguém, compartilhe o link de verificação do certificado.