Programma Lezione 198 di 250 · Il ML intorno all'LLM
Il ML intorno all'LLM

Soglie di confidenza e astensione

Un classificatore restituisce sempre una risposta, anche quando non ne ha idea. La softmax deve sommare a 1, quindi un modello davvero confuso ti dà comunque un'etichetta in testa -> solo con una probabilità bassa dietro. In produzione è pericoloso: smistare male un cliente in silenzio è peggio che ammettere di non essere sicuri.

La soluzione è una soglia di confidenza con l'opzione di astenersi. Guardi la probabilità dell'etichetta in testa; se supera l'asticella agisci, e se non la supera restituisci un verdetto speciale "abstain" che passa la richiesta a una persona (o la fa salire a un modello più costoso). È il cancello di passaggio a una persona che ha ogni sistema LLM serio.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

La soglia è una manopola che regoli partendo dai dati: alzala e ti astieni più spesso (più sicuro, più lavoro umano); abbassala e agisci più spesso (più economico, più rischioso). Il confine stesso conta -> decidi se una probabilità esattamente uguale alla soglia conta come sicura. Qui usiamo >= threshold significa sicuro (il valore di confine passa).

Da dove vengono le probabilità? Di solito da model.predict_proba(...) del classificatore che hai costruito prima, o dai punteggi di coseno per prototipo normalizzati in una distribuzione. In ogni caso, la logica del cancello è la stessa piccola funzione, ed è pura e deterministica -> esattamente il tipo di protezione su cui puoi fare test unitari.

Costruisci una funzione. classify_with_threshold(probs, labels, threshold): trova l'etichetta con la probabilità più alta; se quella probabilità è >= threshold restituisci l'etichetta, altrimenti restituisci la stringa "abstain". probs e labels sono liste allineate. Premi Run per vedere un caso sicuro passare e uno incerto astenersi.

Tocca a te

Scrivi classify_with_threshold(probs, labels, threshold) dove probs e labels sono liste allineate. Restituisci l'etichetta con la probabilità più alta, ma solo se quella probabilità è >= threshold; altrimenti restituisci la stringa "abstain". Tratta come sicura una probabilità esattamente uguale alla soglia.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.