Temario Lección 186 de 246 · Módulo 17: Entra ruido, salen imágenes (difusión)
Módulo 17: Entra ruido, salen imágenes (difusión)

Calendarios de ruido: una pérdida más baja, peores muestras

Por qué importa La pérdida es el número que vigilas, así que es tentador elegir lo que la deje más baja. Aquí ese instinto es justo el equivocado, y ver por qué te enseña lo que mide la pérdida.

Dos calendarios para los mismos 100 pasos:

  • Lineal (el artículo original de DDPM): beta sube por igual de 0.0001 a 0.02 x (1000 / T). Con solo 100 pasos, abar cae deprisa: la mayoría de los pasos son casi ruido puro.
  • Coseno (Nichol y Dhariwal, 2021): abar sigue una curva de coseno, así que la señal se desvanece por igual a lo largo de los pasos.

El curso entrenó los dos con la espiral, 3 semillas cada uno (difflab.recorded()).

Predice primero: ¿qué calendario termina con la pérdida de entrenamiento más baja, y cuál hace muestras que encajan mejor en la espiral?

Palabras y símbolos de esta lección
calendario de ruido (beta)
cuánto ruido nuevo se mezcla en cada paso
abar
la parte de la señal original que queda después de un número de pasos (su raíz cuadrada multiplica a x0)
eps
el ruido en forma de campana que se añadió; la red aprende a predecirlo
DDPM
muestrear volviendo hacia atrás por todos los pasos, con ruido nuevo cada vez
en la forma, cobertura
el juez 2D: la proporción de muestras cerca de la forma real, y la proporción de la forma con una muestra cerca
Tu turno

Pon guess para las dos preguntas a "linear" (lineal) o "cosine" (coseno). Luego rellena table con la pérdida final media y la puntuación media en la forma de cada calendario sobre las 3 semillas grabadas, y noisy_share: para cada calendario, la proporción de los 100 pasos en los que queda menos del 10% de la varianza de la señal (abar por debajo de 0.1; el tamaño de la señal es sqrt(abar), unos 0.32 ahí). Por último pon shows, las mismas dos preguntas respondidas a partir de tu tabla. Tu suposición se queda como la hiciste.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.