80% de certeza significa estar certo 80% das vezes?
Por que isso importa A confiança de um modelo só é útil se for honesta. Um assistente de médico que diz "90% de certeza" e acerta metade das vezes é perigoso.
A é calibrated se, entre todas as previsões que ele faz com cerca de 80% de confiança, cerca de 80% estiverem corretas. Para verificar: ordene as previsões em bins por confiança (0 a 0.1, 0.1 a 0.2, e assim por diante); em cada bin compare a confiança média com a acurácia real. Plotar uma contra a outra é um reliability diagram; a calibração perfeita é a diagonal.
Expected calibration error (ECE) soma a lacuna em cada bin, ponderada por quantas previsões caíram nele: sum over bins of (count / total) * |accuracy - confidence|.
Números pequenos
Quatro previsões com confiança 0.9, das quais 2 estão certas: o gap daquele bin é |0.5 - 0.9| = 0.4. Se elas forem todas as previsões, ECE = 0.4.
Palavras e símbolos nesta lição
- calibration, ECE
- se se a confiança corresponde à acurácia; a lacuna da média ponderada
Escreva ece(confidence, correct, bins=10) com bins de largura igual de 0 a 1 (uma confiança de exatamente 1.0 vai no bin do topo; pule bins vazios).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.