Todos los cursos Gratis · Sin cuenta · En tu navegador

Redes neuronales: de la neurona al transformer

Construye redes neuronales tú mismo, de una neurona a un transformer, y luego modelos generativos, difusión, leyes de escala y cómo mirar dentro de un modelo, en Python y NumPy sencillos, entrenadas en tu navegador. Escribe tu propio autograd, diagnostica ejecuciones rotas, juzga afirmaciones por las pruebas, y termina con un proyecto final que puedes volver a reproducir. Gratis, sin cuenta.

25 módulos 246 lecciones 246 ejercicios corregidos automáticamente A tu ritmo · unas 143 h de material Entrenado en tu navegador, sin GPUPredice la curva, y luego ejecútalo
Tu progreso 0 / 246 ejercicios completados
Objetivo diario
Módulo 1 · 60 min

Módulo 0: Línea de salida

Serás capaz de: decir cómo funciona el curso y qué mide; hacer una predicción y compararla con una ejecución; registrar tu puntuación inicial en los cuatro diales; medir la velocidad de tu dispositivo en FLOPs.

Etapa 1 de 7 · capa de la red Línea de salida Aprueba los 5 ejercicios de esta etapa para ganar su capa.
Módulo 3 · unas 7 h

Módulo 2: Matemáticas y probabilidad, solo lo necesario

Serás capaz de: calcular productos escalares, multiplicaciones de matrices y broadcasting; hallar pendientes empujando y con la regla de la cadena, para números y para matrices enteras; explicar cómo se suma la dispersión y qué hace un valor propio; derivar el gradiente de softmax; escribir log-sum-exp, softmax y entropía cruzada que nunca se desbordan (la prueba de paso).

Etapa 2 de 7 · capa de la red Fundamentos Aprueba los 3 ejercicios de esta etapa para ganar su capa.
Módulo 8 · unas 4 h

Módulo 7: Funcionar con datos nuevos

Serás capaz de: medir el sobreajuste y el subajuste, el sesgo y la varianza; usar la regularización de pesos, el dropout, el aumento de datos y la parada temprana; leer con honestidad el doble descenso y las curvas de aprendizaje; ajustar un modelo con datos de validación e informar de él con datos reservados (la prueba de paso).

Etapa 3 de 7 · capa de la red Hacer que el entrenamiento funcione Aprueba los 40 ejercicios de esta etapa para ganar su capa.
Módulo 14 · unas 10 h

Módulo 13: Atención y transformers

Serás capaz de: construir la atención, la máscara causal, las cabezas, las posiciones, la normalización de capa y un bloque entero que coincide con un modelo real; derivar el paso hacia atrás de la atención; entrenar un GPT pequeño; leer ejecuciones grabadas; generar con una caché; trasladar tu motor a PyTorch; reparar un transformer roto (la prueba de paso).

Módulo 15 · unas 4 h

Módulo 14: Clínica de ejecuciones II

Serás capaz de: diagnosticar modelos de secuencias rotos, incluidas las trampas que parecen estupendas, los atascos, los tamaños de paso y los fallos de muestreo; leer ejecuciones grabadas que fallaron; juzgar por las pruebas a un ayudante de IA; diagnosticar tú solo con un presupuesto (la prueba de paso); comparar tu examen final con tu punto de partida.

Etapa 4 de 7 · capa de la red Arquitecturas para la estructura Aprueba los 56 ejercicios de esta etapa para ganar su capa.
Módulo 16 · unas 5 h

Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Serás capaz de: comprimir dígitos en unos pocos números y reconstruirlos; decir, con mediciones, por qué un autocodificador no puede crear dígitos nuevos; calcular la KL entre dos campanas y el ELBO; muestrear de una forma a través de la que se puede entrenar; entrenar un VAE que crea dígitos nuevos; pasear entre dígitos; diagnosticar y arreglar tú solo un VAE colapsado (la prueba de paso).

Módulo 17 · unas 4 h

Módulo 16: Dos redes en un juego (GAN, opcional)

Módulo opcional, no hace falta para el certificado. Serás capaz de: escribir las pérdidas de una GAN y decir a partir de sus pendientes cuándo se atasca la saturante; entrenar una GAN con ocho manchas y juzgar su cobertura; provocar el colapso de modos; poner a prueba trucos estabilizadores con semillas grabadas e informar de lo que ayudó; ejecutar un generador convolucional; rescatar tú solo una GAN rota (la prueba de paso).

Módulo 18 · unas 8 h

Módulo 17: Entra ruido, salen imágenes (difusión)

Serás capaz de: añadir ruido según un calendario, paso a paso y de un salto; leer las flechas de la red de vuelta hasta los datos; entrenar un predictor de ruido; muestrear con DDPM y decir por qué se recorta la estimación limpia; comparar calendarios de ruido y entradas de tiempo midiendo; construir una U-Net; muestrear en menos pasos con DDIM; dirigir las muestras con guía sin clasificador; ajustar un modelo entrenado; ajustar tú solo una forma nueva (la prueba de paso).

Módulo 19 · unas 6 h

Módulo 18: Aprender sin etiquetas

Serás capaz de: juzgar características por la coincidencia entre vecinos más cercanos y con una sonda lineal que escribes tú; preentrenar con predicción enmascarada; escribir InfoNCE y decir por qué es entropía cruzada; preentrenar con SimCLR y leer lo que deciden sus aumentos de datos; emparejar textos con imágenes (opcional); probar características con objetos que el modelo nunca vio, por tu cuenta (la prueba de paso).

Etapa 5 de 7 · capa de la red Redes que crean cosas Aprueba los 26 ejercicios de esta etapa para ganar su capa.
Módulo 20 · unas 5 h

Módulo 19: Más grande, y cuánto mejor (leyes de escalado)

Serás capaz de: calcular en FLOPs el coste de una ejecución de entrenamiento; ajustar una ley de potencias con suelo y barras de error; leer si son los pesos o los datos lo que limita una ejecución; planificar el mejor tamaño de modelo para un presupuesto fijo; predecir una ejecución más grande y comprobarlo; distinguir un salto real de una métrica que se lo inventa; planificar una ejecución por tu cuenta (la prueba de paso).

Módulo 21 · unas 5 h

Módulo 20: Adaptar barato un modelo entrenado

Serás capaz de: mostrar el olvido catastrófico; contar, construir y comprobar los gradientes de LoRA; elegir su rango a partir de mediciones; hacer el ajuste fino de un modelo con tu propio texto sin estropearlo; decir cuándo ayuda la destilación; cuantizar pesos y predecir el coste; ajustar preferencias con DPO y parar a tiempo; elegir un método para cada situación; cumplir tú solo un objetivo de adaptación con un presupuesto (la prueba de paso).

Módulo 22 · unas 8 h

Módulo 21: Mirar dentro de un modelo

Serás capaz de: decir si una prueba sobre el interior de un modelo es un patrón, un efecto o un mecanismo; usar una sonda con un control; parchear activaciones para encontrar dónde está la información; quitar partes y comprobar si hay respaldo; poner a prueba un mecanismo de manual en el modelo que tienes delante; mostrar la superposición en un juguete; entrenar un autocodificador disperso y poner a prueba la etiqueta de una característica con texto no visto; leer el grokking en ejecuciones grabadas y comprobar sus ondas quitándolas; encontrar dónde está la información solo con entradas nuevas (la prueba de paso).

Módulo 23 · unas 5 h

Módulo 22: Juzgar afirmaciones

Serás capaz de: encontrar un conjunto de prueba filtrado por solapamiento y dar la puntuación limpia; dividir una pérdida media según la parte que importa; explicar en qué se diferencian la ablación a cero y la ablación por la media, e indicar el método; distinguir una diferencia de una sola semilla de una medida con errores estándar; replicar un resultado con semillas nuevas y encontrar el ajuste en el que deja de cumplirse; revisar una afirmación tú solo (la prueba de paso).

Etapa 6 de 7 · capa de la red Escalar y entender Aprueba los 36 ejercicios de esta etapa para ganar su capa.
Módulo 24 · unas 7 h

Módulo 23: Estudio del proyecto final: una ficha del modelo que se puede ejecutar

Serás capaz de: planificar un proyecto con un presupuesto de FLOPs; predecir y ejecutar una referencia base con varias semillas; juzgar cambios con barras de error; encontrar con una comprobación de gradientes un error que sigue entrenando; hacer un hallazgo dentro de tu modelo frente a un control sin entrenar; evaluar una sola vez con un conjunto oculto y barras de error; escribir una ficha del modelo en la que cada número coincide con tu registro de ejecuciones; exportar un archivo sin conexión cuyas ejecuciones se pueden reproducir.

Módulo 25 · 50 min

Módulo 24: Examen final y repetición

Serás capaz de: demostrar, con la IA apagada, lo que enseñó la Parte 2 en los cuatro mandos (modelo C); comparar tus mandos desde la línea de salida hasta el final de la Parte 2; comprobar un mes después lo que se quedó (modelo D, opcional).

Etapa 7 de 7 · capa de la red Proyecto final y prueba Aprueba los 10 ejercicios de esta etapa para ganar su capa.