Programma Lezione 196 di 250 · Il ML intorno all'LLM
Il ML intorno all'LLM

Classificazione degli intenti (TF-IDF + LogisticRegression)

Non ogni "funzione di IA" ha bisogno di un grande modello linguistico. Una parte enorme delle app LLM di produzione mette un piccolo e noioso classificatore davanti al modello: legge il messaggio in arrivo, decide che tipo di richiesta è (fatturazione? una segnalazione di bug? una modifica dell'account?), e instrada di conseguenza. Quella decisione è veloce, gratis, gira offline, ed è deterministica -> lo stesso input dà sempre la stessa risposta. Spendi una costosa chiamata all'LLM solo quando ti serve davvero.

Lo strumento da lavoro per i testi brevi è TfidfVectorizer + LogisticRegression. Il TF-IDF trasforma ogni messaggio in un vettore sparso di conteggi di parole pesati; la regressione logistica impara un confine lineare tra le classi di intento. Su qualche decina di esempi etichettati si addestra in millisecondi e classifica in microsecondi.

Collegherai i due in un solo oggetto con una Pipeline così il vettorizzatore e il classificatore vengono addestrati e applicati insieme come un'unità:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

Perché random_state=0? È un'abitudine che vale la pena avere. Il risolutore di default qui (lbfgs) è deterministico, quindi questa pipeline dà gli stessi pesi con o senza seme. Ma altri risolutori (saga, liblinear) mescolano i dati, e molti modelli di scikit-learn (random forest, k-means, divisioni train/test) sono casuali per natura; lì è il seme a rendere riproducibile l'addestramento. Scriverlo ovunque significa che un cambio successivo di risolutore o di modello non può far oscillare in silenzio il tuo instradamento tra un'esecuzione e l'altra. Il corso segue questa regola ovunque.

È esattamente il contrasto con l'LLM. Una chiamata a un modello non è deterministica, costa soldi e aggiunge latenza. Ecco il tipo di ripiego che potresti collegare a valle una volta che conosci l'intento (mostrato come contesto, mai valutato):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Costruisci due funzioni. train_classifier(texts, labels) restituisce una Pipeline addestrata (TF-IDF + LogisticRegression con random_state=0). predict(model, new_texts) riceve quel modello e una lista di stringhe e restituisce una lista di etichette previste. Premi Run per addestrare su un piccolo insieme di ticket di assistenza e guardarlo instradare messaggi tenuti da parte verso il team giusto.

Tocca a te

Scrivi train_classifier(texts, labels) che restituisce una Pipeline sklearn addestrata fatta di TfidfVectorizer() e poi LogisticRegression(random_state=0, ...), e predict(model, new_texts) che restituisce una lista di etichette previste per una lista di stringhe in ingresso. Il seme la rende riproducibile; il classificatore deve mandare messaggi distinti tenuti da parte ai loro intenti corretti. Lascia TEXTS e LABELS del codice di partenza così come sono: la verifica li legge.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.