Calendarios de ruido: una pérdida más baja, peores muestras
Por qué importa La pérdida es el número que vigilas, así que es tentador elegir lo que la deje más baja. Aquí ese instinto es justo el equivocado, y ver por qué te enseña lo que mide la pérdida.
Dos calendarios para los mismos 100 pasos:
- Lineal (el artículo original de DDPM): beta sube por igual de 0.0001 a 0.02 x (1000 / T). Con solo 100 pasos, abar cae deprisa: la mayoría de los pasos son casi ruido puro.
- Coseno (Nichol y Dhariwal, 2021): abar sigue una curva de coseno, así que la señal se desvanece por igual a lo largo de los pasos.
El curso entrenó los dos con la espiral, 3 semillas cada uno (difflab.recorded()).
Predice primero: ¿qué calendario termina con la pérdida de entrenamiento más baja, y cuál hace muestras que encajan mejor en la espiral?
Palabras y símbolos de esta lección
- calendario de ruido (beta)
- cuánto ruido nuevo se mezcla en cada paso
- abar
- la parte de la señal original que queda después de un número de pasos (su raíz cuadrada multiplica a x0)
- eps
- el ruido en forma de campana que se añadió; la red aprende a predecirlo
- DDPM
- muestrear volviendo hacia atrás por todos los pasos, con ruido nuevo cada vez
- en la forma, cobertura
- el juez 2D: la proporción de muestras cerca de la forma real, y la proporción de la forma con una muestra cerca
Pon guess para las dos preguntas a "linear" (lineal) o "cosine" (coseno). Luego rellena table con la pérdida final media y la puntuación media en la forma de cada calendario sobre las 3 semillas grabadas, y noisy_share: para cada calendario, la proporción de los 100 pasos en los que queda menos del 10% de la varianza de la señal (abar por debajo de 0.1; el tamaño de la señal es sqrt(abar), unos 0.32 ahí). Por último pon shows, las mismas dos preguntas respondidas a partir de tu tabla. Tu suposición se queda como la hiciste.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.