Kurrikulum Leson 35 van 246 · Module 2: Wiskunde en waarskynlikheid, net soos nodig
Module 2: Wiskunde en waarskynlikheid, net soos nodig

Cross-entropy is waarskynlikheid in vermomming.

Waarom dit saak maak Classifiers word getoël met 'n verlies wat cross-entropy genoem word. Dit klink nuut, maar dit is die waarskynlikheidsidee van twee lesse gelede.

Klein getalle

A model sê die waarskynlikhede van syfers 0, 1 en 2 is [0.665, 0.245, 0.090]. Die ware syfer is 0. Hoe waarskynlik het die model gedink die waarheid was? 0.665. Onder maksimum waarskynlikheid wil ons hê daardie getal moet groot wees. As 'n verlies wil ons ietss klein hê, so neem ons minus die log daarvan: -log(0.665) = 0.408.

As die ware syfer 2 was, sou die verlies -log(0.090) = 2.41 wees: die model het die waarheid net 9% gegee, so dit word hard gestraf. 'n Perfekte voorspelling (waarskynlikheid 1) het verlies 0.

Cross-entropy loss: minus die log van die waarskynlikheid wat die model aan die ware antwoord gegee het, gemiddeld oor voorbeelde. Dit is presies die negatiewe log-likelihood.

Kies een inskrywing per ry

Met 'n batch het jy, vir elke ry, die waarskynlikheid in daardie ry se ware kolom nodig. NumPy doen dit met twee indeks-arrays van dieselfde lengte: probs[rows, cols] kies probs[rows[0], cols[0]], probs[rows[1], cols[1]] en so aan. Met probs = [[0.7, 0.3], [0.2, 0.8]] en labels [0, 1], probs[np.arange(2), labels] gee dit [0.7, 0.8]: ry 0 kolom 0, dan ry 1 kolom 1. Dit word fancy indexing genoem.

'n nuttige landmerk: 'n model wat gelykverdelig oor 10 klasse raai, gee vir elk 0.1, so sy loss is -log(0.1) = 2.30. 'n Nuwe classifier begin naby daar.

Opsomming Loss = -log(waarskynlikheid wat aan die waarheid gegee word).

Woorde en simbole in hierdie les
likelihood
hoe waarskynlik die data wat jy gesien het is onder een instelling van die model
cross-entropy
minus die log van die waarskynlikheid wat aan die regte antwoord gegee word
Jou beurt

Skryf cross_entropy(probs, labels): probs is (batch, classes) van waarskynlikhede, labels hou die ware klas van elke ry; gee die gemiddelde van -log(waarskynlikheid van die ware klas) terug. Geen loops nie. Stel dan uniform_10_loss in op die verlies van 'n uniforme raai oor 10 klasse.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.