Programma Lezione 187 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Dire al modello a che passo si trova

Perché è importante Lo stesso punto rumoroso ha bisogno di una piccola correzione al passo 5 e di una grande al passo 90. Una rete a cui non si dice il passo deve indovinarlo solo dal punto. Come glielo dici è una scelta di progetto, e la scelta famosa non è sempre la migliore.

Tre modi (difflab.time_input):

  • none: la rete vede solo il punto.
  • raw: un numero in più, t / T.
  • sine: 8 seni e 8 coseni di t / T a frequenze da 1 a 100, l'embedding che i transformer usano per le posizioni. I grandi modelli di immagini lo usano, perché molte frequenze permettono a una rete profonda di reagire in modo netto a piccoli cambiamenti di t.

Le esecuzioni registrate addestrano ciascuno sulla spirale, 3 seed. Confrontale con la regola del Modulo 9: un'impostazione batte un'altra quando il suo punteggio medio sulla forma è più alto di almeno 0.1 E più alto su ogni seed (3 su 3).

Parole e simboli di questa lezione
sulla forma, copertura
il giudice 2D: quota di campioni vicini alla forma vera, e quota della forma con un campione vicino
Tocca a te

Scrivi sine_time(t, T) che restituisce i 16 numeri per passo (prima i seni, poi i coseni, frequenze np.exp(np.linspace(0, np.log(100), 8))). Poi scrivi beats(a, b) per due nomi di impostazioni registrate, e riempi verdicts per raw contro none, sine contro none e sine contro raw.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.