Redes neuronales: de la neurona al transformer
Construye redes neuronales tú mismo, de una neurona a un transformer, y luego modelos generativos, difusión, leyes de escala y cómo mirar dentro de un modelo, en Python y NumPy sencillos, entrenadas en tu navegador. Escribe tu propio autograd, diagnostica ejecuciones rotas, juzga afirmaciones por las pruebas, y termina con un proyecto final que puedes volver a reproducir. Gratis, sin cuenta.
Python y NumPy de verdad están listos en esta pestaña.
Sin instalar nada, sin cuenta, sin configuración. Cada red de este curso se entrena en tu propio dispositivo, y nada de lo que escribes sale de él. El módulo 1 repasa el Python y el NumPy que necesitas. ¿Ya los dominas? Su última lección es una prueba corta que puedes hacer primero: apruébala y el curso te lleva directamente más allá.
Repaso diario
La repetición espaciada evita que se borre lo que aprendiste.
Módulo 0: Línea de salida
Serás capaz de: decir cómo funciona el curso y qué mide; hacer una predicción y compararla con una ejecución; registrar tu puntuación inicial en los cuatro diales; medir la velocidad de tu dispositivo en FLOPs.
Módulo 1: Python para este curso
Serás capaz de: escribir y probar funciones sobre listas y diccionarios; usar arrays de NumPy, formas, porciones y broadcasting en vez de bucles; fijar la aleatoriedad de forma reproducible; escribir clases pequeñas y closures. Lo comprueba la prueba de paso de Python (¿ya lo dominas? hazla primero: si la apruebas te saltas el módulo).
Módulo 2: Matemáticas y probabilidad, solo lo necesario
Serás capaz de: calcular productos escalares, multiplicaciones de matrices y broadcasting; hallar pendientes empujando y con la regla de la cadena, para números y para matrices enteras; explicar cómo se suma la dispersión y qué hace un valor propio; derivar el gradiente de softmax; escribir log-sum-exp, softmax y entropía cruzada que nunca se desbordan (la prueba de paso).
Módulo 3: De la neurona al MLP
Serás capaz de: construir una neurona, activaciones y una red de dos capas en NumPy; derivar la retropropagación a mano y comprobarla con un comprobador de gradientes; entrenar un lector de dígitos por encima del 95%; construir y entrenar tu propia red para un conjunto de datos nuevo (la prueba de paso).
Módulo 4: Tu propio motor de autograd
Serás capaz de: construir un motor de autograd en modo inverso (grafo, orden topológico, reglas hacia atrás, broadcasting, reducciones); comprobarlo con empujones; entrenar una red con él sin gradientes escritos a mano; añadir tú solo una operación nueva (la prueba de paso).
Módulo 5: Optimización
Serás capaz de: explicar por qué un paisaje estirado es lento; construir SGD con minilotes, momentum, RMSProp, Adam y AdamW, programas de tasa y recorte; elegir y ajustar un optimizador para un problema que no has visto, con un presupuesto (la prueba de paso).
Módulo 6: Pesos iniciales y normalización
Serás capaz de: medir las señales a través de la profundidad y elegir las escalas de Xavier, LeCun o He; encontrar unidades muertas; construir BatchNorm hacia delante y hacia atrás, LayerNorm y RMSNorm; evitar la trampa de entrenamiento/evaluación; usar atajos en redes profundas.
Módulo 7: Funcionar con datos nuevos
Serás capaz de: medir el sobreajuste y el subajuste, el sesgo y la varianza; usar la regularización de pesos, el dropout, el aumento de datos y la parada temprana; leer con honestidad el doble descenso y las curvas de aprendizaje; ajustar un modelo con datos de validación e informar de él con datos reservados (la prueba de paso).
Módulo 8: Clínica de ejecuciones I
Serás capaz de: hacer las dos primeras comprobaciones en cualquier entrenamiento; elegir sondas que separen los fallos probables; diagnosticar y arreglar ejecuciones rotas con un cambio pequeño, con un presupuesto (la prueba de paso); juzgar por las pruebas los diagnósticos de un ayudante de IA.
Módulo 9: ¿De verdad es mejor?
Serás capaz de: dividir los datos sin filtraciones; usar la precisión y la exhaustividad; medir la dispersión entre semillas; poner barras de error por bootstrap a una puntuación; medir la calibración; comparar dos modelos con un intervalo emparejado y tomar la decisión (la prueba de paso).
Módulo 10: Redes que ven (CNN)
Serás capaz de: construir la convolución, el relleno, el pooling y sus gradientes, e im2col; entrenar CNN con el motor de la casa; leer ejecuciones grabadas con varias semillas; poner a prueba la saliencia frente a una referencia base; usar la transferencia; diseñar una CNN con un presupuesto de pesos (la prueba de paso).
Módulo 11: Redes con memoria (RNN)
Serás capaz de: construir una RNN y un modelo de caracteres; derivar la retropropagación a través del tiempo; medir los gradientes que se desvanecen; construir las puertas de una LSTM; leer experimentos grabados de memoria y de cuello de botella; muestrear con temperatura; reparar un modelo recurrente roto (la prueba de paso).
Módulo 12: Palabras como números (embeddings)
Serás capaz de: tratar un embedding como una búsqueda en una tabla; construir un tokenizador que fusiona parejas; crear vectores de palabras contando y con skip-gram; medir y quitar un sesgo que copiaron; hacerlo todo tú solo en un mundo que no has visto (la prueba de paso).
Módulo 13: Atención y transformers
Serás capaz de: construir la atención, la máscara causal, las cabezas, las posiciones, la normalización de capa y un bloque entero que coincide con un modelo real; derivar el paso hacia atrás de la atención; entrenar un GPT pequeño; leer ejecuciones grabadas; generar con una caché; trasladar tu motor a PyTorch; reparar un transformer roto (la prueba de paso).
Módulo 14: Clínica de ejecuciones II
Serás capaz de: diagnosticar modelos de secuencias rotos, incluidas las trampas que parecen estupendas, los atascos, los tamaños de paso y los fallos de muestreo; leer ejecuciones grabadas que fallaron; juzgar por las pruebas a un ayudante de IA; diagnosticar tú solo con un presupuesto (la prueba de paso); comparar tu examen final con tu punto de partida.
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Serás capaz de: comprimir dígitos en unos pocos números y reconstruirlos; decir, con mediciones, por qué un autocodificador no puede crear dígitos nuevos; calcular la KL entre dos campanas y el ELBO; muestrear de una forma a través de la que se puede entrenar; entrenar un VAE que crea dígitos nuevos; pasear entre dígitos; diagnosticar y arreglar tú solo un VAE colapsado (la prueba de paso).
Módulo 16: Dos redes en un juego (GAN, opcional)
Módulo opcional, no hace falta para el certificado. Serás capaz de: escribir las pérdidas de una GAN y decir a partir de sus pendientes cuándo se atasca la saturante; entrenar una GAN con ocho manchas y juzgar su cobertura; provocar el colapso de modos; poner a prueba trucos estabilizadores con semillas grabadas e informar de lo que ayudó; ejecutar un generador convolucional; rescatar tú solo una GAN rota (la prueba de paso).
Módulo 17: Entra ruido, salen imágenes (difusión)
Serás capaz de: añadir ruido según un calendario, paso a paso y de un salto; leer las flechas de la red de vuelta hasta los datos; entrenar un predictor de ruido; muestrear con DDPM y decir por qué se recorta la estimación limpia; comparar calendarios de ruido y entradas de tiempo midiendo; construir una U-Net; muestrear en menos pasos con DDIM; dirigir las muestras con guía sin clasificador; ajustar un modelo entrenado; ajustar tú solo una forma nueva (la prueba de paso).
Módulo 18: Aprender sin etiquetas
Serás capaz de: juzgar características por la coincidencia entre vecinos más cercanos y con una sonda lineal que escribes tú; preentrenar con predicción enmascarada; escribir InfoNCE y decir por qué es entropía cruzada; preentrenar con SimCLR y leer lo que deciden sus aumentos de datos; emparejar textos con imágenes (opcional); probar características con objetos que el modelo nunca vio, por tu cuenta (la prueba de paso).
Módulo 19: Más grande, y cuánto mejor (leyes de escalado)
Serás capaz de: calcular en FLOPs el coste de una ejecución de entrenamiento; ajustar una ley de potencias con suelo y barras de error; leer si son los pesos o los datos lo que limita una ejecución; planificar el mejor tamaño de modelo para un presupuesto fijo; predecir una ejecución más grande y comprobarlo; distinguir un salto real de una métrica que se lo inventa; planificar una ejecución por tu cuenta (la prueba de paso).
Módulo 20: Adaptar barato un modelo entrenado
Serás capaz de: mostrar el olvido catastrófico; contar, construir y comprobar los gradientes de LoRA; elegir su rango a partir de mediciones; hacer el ajuste fino de un modelo con tu propio texto sin estropearlo; decir cuándo ayuda la destilación; cuantizar pesos y predecir el coste; ajustar preferencias con DPO y parar a tiempo; elegir un método para cada situación; cumplir tú solo un objetivo de adaptación con un presupuesto (la prueba de paso).
Módulo 21: Mirar dentro de un modelo
Serás capaz de: decir si una prueba sobre el interior de un modelo es un patrón, un efecto o un mecanismo; usar una sonda con un control; parchear activaciones para encontrar dónde está la información; quitar partes y comprobar si hay respaldo; poner a prueba un mecanismo de manual en el modelo que tienes delante; mostrar la superposición en un juguete; entrenar un autocodificador disperso y poner a prueba la etiqueta de una característica con texto no visto; leer el grokking en ejecuciones grabadas y comprobar sus ondas quitándolas; encontrar dónde está la información solo con entradas nuevas (la prueba de paso).
Módulo 22: Juzgar afirmaciones
Serás capaz de: encontrar un conjunto de prueba filtrado por solapamiento y dar la puntuación limpia; dividir una pérdida media según la parte que importa; explicar en qué se diferencian la ablación a cero y la ablación por la media, e indicar el método; distinguir una diferencia de una sola semilla de una medida con errores estándar; replicar un resultado con semillas nuevas y encontrar el ajuste en el que deja de cumplirse; revisar una afirmación tú solo (la prueba de paso).
Módulo 23: Estudio del proyecto final: una ficha del modelo que se puede ejecutar
Serás capaz de: planificar un proyecto con un presupuesto de FLOPs; predecir y ejecutar una referencia base con varias semillas; juzgar cambios con barras de error; encontrar con una comprobación de gradientes un error que sigue entrenando; hacer un hallazgo dentro de tu modelo frente a un control sin entrenar; evaluar una sola vez con un conjunto oculto y barras de error; escribir una ficha del modelo en la que cada número coincide con tu registro de ejecuciones; exportar un archivo sin conexión cuyas ejecuciones se pueden reproducir.
Módulo 24: Examen final y repetición
Serás capaz de: demostrar, con la IA apagada, lo que enseñó la Parte 2 en los cuatro mandos (modelo C); comparar tus mandos desde la línea de salida hasta el final de la Parte 2; comprobar un mes después lo que se quedó (modelo D, opcional).
Solo tú puedes imprimirlos o guardarlos. Los enlaces se guardan en este navegador. Para enseñárselos a alguien, comparte el enlace de verificación del certificado.