Lehrplan Lektion 37 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Wie unterschiedlich sind zwei Vermutungen (KL divergence)

Warum das wichtig ist Später wirst du eine Verteilung auf eine andere schieben: einen generator auf echte Daten, ein kleines Modell auf ein großes. Die KL Divergenz misst die Lücke.

Kleine Zahlen

Wahrheit P = [0.5, 0.5], eine Vermutung Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Tausche sie: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Unterschiedliche Zahlen: KL ist nicht symmetrisch, also zählt die Reihenfolge.

KL Divergenz: die zusätzliche Überraschung, die du im Durchschnitt erleidest, wenn du Q benutzt, obwohl die Wahrheit P ist. Sie ist 0 nur, wenn sie identisch sind, und niemals negativ.

Für zwei Glockenkurven gibt es eine exakte Formel, die Modul 15 für seine generativen Modelle verwendet: KL zwischen N(m1, s1) und N(m2, s2) ist log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

Zusammenfassung Ein Abstandsmaß, null wenn gleich, und die Reihenfolge zählt.

Wörter und Symbole in dieser Lektion
KL(P || Q)
wie unterschiedlich zwei Verteilungen sind; nur null wenn sie übereinstimmen; die Reihenfolge zählt
Du bist dran

Schreibe kl(p, q) für zwei Wahrscheinlichkeiten, die als Listen oder Arrays gegeben sind (die Tests akzeptieren einfache Listen, also wandle sie zuerst in Arrays um), und kl_gauss(m1, s1, m2, s2) unter Verwendung der oben genannten Formel.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.