Wie unterschiedlich sind zwei Vermutungen (KL divergence)
Warum das wichtig ist Später wirst du eine Verteilung auf eine andere schieben: einen generator auf echte Daten, ein kleines Modell auf ein großes. Die KL Divergenz misst die Lücke.
Kleine Zahlen
Wahrheit P = [0.5, 0.5], eine Vermutung Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Tausche sie: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Unterschiedliche Zahlen: KL ist nicht symmetrisch, also zählt die Reihenfolge.
KL Divergenz: die zusätzliche Überraschung, die du im Durchschnitt erleidest, wenn du Q benutzt, obwohl die Wahrheit P ist. Sie ist 0 nur, wenn sie identisch sind, und niemals negativ.
Für zwei Glockenkurven gibt es eine exakte Formel, die Modul 15 für seine generativen Modelle verwendet: KL zwischen N(m1, s1) und N(m2, s2) ist log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.
Zusammenfassung Ein Abstandsmaß, null wenn gleich, und die Reihenfolge zählt.
Wörter und Symbole in dieser Lektion
- KL(P || Q)
- wie unterschiedlich zwei Verteilungen sind; nur null wenn sie übereinstimmen; die Reihenfolge zählt
Schreibe kl(p, q) für zwei Wahrscheinlichkeiten, die als Listen oder Arrays gegeben sind (die Tests akzeptieren einfache Listen, also wandle sie zuerst in Arrays um), und kl_gauss(m1, s1, m2, s2) unter Verwendung der oben genannten Formel.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.