Soglie di confidenza e astensione
Un classificatore restituisce sempre una risposta, anche quando non ne ha idea. La softmax deve sommare a 1, quindi un modello davvero confuso ti dà comunque un'etichetta in testa -> solo con una probabilità bassa dietro. In produzione è pericoloso: smistare male un cliente in silenzio è peggio che ammettere di non essere sicuri.
La soluzione è una soglia di confidenza con l'opzione di astenersi. Guardi la probabilità dell'etichetta in testa; se supera l'asticella agisci, e se non la supera restituisci un verdetto speciale "abstain" che passa la richiesta a una persona (o la fa salire a un modello più costoso). È il cancello di passaggio a una persona che ha ogni sistema LLM serio.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"La soglia è una manopola che regoli partendo dai dati: alzala e ti astieni più spesso (più sicuro, più lavoro umano); abbassala e agisci più spesso (più economico, più rischioso). Il confine stesso conta -> decidi se una probabilità esattamente uguale alla soglia conta come sicura. Qui usiamo >= threshold significa sicuro (il valore di confine passa).
Da dove vengono le probabilità? Di solito da model.predict_proba(...) del classificatore che hai costruito prima, o dai punteggi di coseno per prototipo normalizzati in una distribuzione. In ogni caso, la logica del cancello è la stessa piccola funzione, ed è pura e deterministica -> esattamente il tipo di protezione su cui puoi fare test unitari.
Costruisci una funzione. classify_with_threshold(probs, labels, threshold): trova l'etichetta con la probabilità più alta; se quella probabilità è >= threshold restituisci l'etichetta, altrimenti restituisci la stringa "abstain". probs e labels sono liste allineate. Premi Run per vedere un caso sicuro passare e uno incerto astenersi.
Scrivi classify_with_threshold(probs, labels, threshold) dove probs e labels sono liste allineate. Restituisci l'etichetta con la probabilità più alta, ma solo se quella probabilità è >= threshold; altrimenti restituisci la stringa "abstain". Tratta come sicura una probabilità esattamente uguale alla soglia.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.