Classificatore di intenti con astensione
Benvenuto nella costruzione del tuo progetto finale. In quattro lezioni rilasci lo strato che sta tra i tuoi utenti e il modello: un AI gateway che classifica che cosa vuole una richiesta, la instrada verso il gestore giusto, mette in cache le risposte, protegge dagli abusi e tiene il conto di ogni dollaro. È l'infrastruttura poco appariscente che trasforma una demo furba in qualcosa che un'azienda può davvero far girare, ed è esattamente ciò che intende un responsabile delle assunzioni quando una riga del curriculum dice "ho costruito un AI gateway: classificazione, instradamento, cache, protezioni, contabilità dei costi."
Una nota onesta sull'ambito: stai costruendo la logica a livello applicativo di un gateway (classificazione, instradamento, cache semantica, protezioni, contabilità dei costi). Un gateway che faresti girare davvero in produzione ha bisogno anche di un servizio attivo che lo ospiti, di autenticazione, di una vera limitazione di frequenza distribuita, e di un rilascio, cose che vanno oltre questo progetto finale nel browser.
Prima tappa: la porta d'ingresso. Ogni richiesta che arriva è un blocco di testo, e prima di poterci fare qualcosa di intelligente devi sapere che cos'è. È una domanda sul meteo? Un problema dell'account? Una lamentela sulla fatturazione? Costruirai un classificatore di intenti che impara da una manciata di esempi etichettati ed etichetta ogni nuova richiesta. Il problema che separa un giocattolo da un vero classificatore: deve sapere quando non sa. Un modello che etichetta con sicurezza delle parole senza senso è peggio che inutile a valle, quindi il tuo si asterrà e restituirà "unknown" quando non è sicuro.
Scriverai due funzioni:
train_intent(texts, labels)-> addestra unTfidfVectorizerper trasformare i testi in vettori, poi unaLogisticRegression(random_state=0)sopra. Restituisci qualsiasi pacchetto (va bene un dict) serva aclassifyper fare previsioni. Dai un seme al modello così tutti ottengono risultati identici.classify(model, text)-> restituisci una tupla(label, confidence). Prendi le probabilità delle classi conpredict_proba, prendi la più alta, e se la sua confidenza è sotto una soglia (circa0.5), restituisci invece("unknown", confidence).
Il trucco per beccare l'input davvero fuori distribuzione è economico e robusto. Quando TfidfVectorizer.transform vede un testo senza nessuna parola del vocabolario di addestramento, la riga risultante è tutta zeri (il suo .nnz vale 0). È il tuo segnale che il modello non ha niente su cui lavorare, quindi astieniti subito:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)Una nota pratica sul modello: con insiemi di addestramento minuscoli la regolarizzazione di default fa restare ogni probabilità vicino al caso, quindi le domande legittime non superano mai la soglia. Allentare la regolarizzazione con C=10.0 (e alzare max_iter così converge) rende il modello abbastanza netto da dare punteggi sicuri alle vere parafrasi mentre la spazzatura continua ad astenersi. Premi Run per addestrare su qualche domanda di assistenza etichettata e guardare le parafrasi venire classificate mentre le parole senza senso si tirano indietro.
Scrivi train_intent(texts, labels) usando TfidfVectorizer + LogisticRegression(random_state=0) (allenta con C=10.0 e alza max_iter così i pochi dati convergono), restituendo qualsiasi pacchetto serva a classify. Poi scrivi classify(model, text) che restituisce (label, confidence): prendi la classe più alta di predict_proba, astieniti con ("unknown", conf) sotto una soglia di ~0.5, e astieniti subito quando la riga trasformata è tutta zeri (X.nnz == 0) così un input fuori distribuzione o vuoto non può essere etichettato.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.