Conteúdo do curso Lição 107 de 246 · Módulo 9: É realmente melhor?
Módulo 9: É realmente melhor?

80% de certeza significa estar certo 80% das vezes?

Por que isso importa A confiança de um modelo só é útil se for honesta. Um assistente de médico que diz "90% de certeza" e acerta metade das vezes é perigoso.

O modelo

A é calibrated se, entre todas as previsões que ele faz com cerca de 80% de confiança, cerca de 80% estiverem corretas. Para verificar: ordene as previsões em bins por confiança (0 a 0.1, 0.1 a 0.2, e assim por diante); em cada bin compare a confiança média com a acurácia real. Plotar uma contra a outra é um reliability diagram; a calibração perfeita é a diagonal.

Expected calibration error (ECE) soma a lacuna em cada bin, ponderada por quantas previsões caíram nele: sum over bins of (count / total) * |accuracy - confidence|.

Números pequenos

Quatro previsões com confiança 0.9, das quais 2 estão certas: o gap daquele bin é |0.5 - 0.9| = 0.4. Se elas forem todas as previsões, ECE = 0.4.

Palavras e símbolos nesta lição
calibration, ECE
se se a confiança corresponde à acurácia; a lacuna da média ponderada
Sua vez

Escreva ece(confidence, correct, bins=10) com bins de largura igual de 0 a 1 (uma confiança de exatamente 1.0 vai no bin do topo; pule bins vazios).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.