Programma Lezione 226 di 250 · Progetto: un AI gateway di produzione
Progetto: un AI gateway di produzione

Instradare verso un gestore + ripiego

Il classificatore ti ha detto che cosa vuole la richiesta. Ora il gateway deve farci qualcosa: passarla al pezzo di codice giusto. Questo è l'instradamento, e in produzione non è mai semplice come un intento che corrisponde a una funzione. I servizi cadono. Un fornitore del meteo va in timeout. Il tuo lavoro è rendere il gateway resistente, così una singola dipendenza ballerina non si porta dietro tutta la richiesta.

Lo schema è una catena di ripiego: ogni intento corrisponde a una lista ordinata di gestori da provare. Il primo è il gestore preferito; se fallisce, scendi al successivo, e l'ultimo anello è sempre un fallback generico che non può fallire. Gli intenti sconosciuti vanno dritti a quel ripiego. Un responsabile delle assunzioni lo legge come "capisce il degrado controllato", che è gran parte di ciò che è davvero il lavoro sull'affidabilità.

Costruirai due funzioni su una tabella di instradamento come questa:

ROUTES = {
    "weather": ["weather_api", "weather_cache", "fallback"],
    "account": ["account_service", "fallback"],
    "billing": ["billing_service", "fallback"],
}
  • route(intent) -> il nome del gestore principale per un intento (il primo anello della sua catena). Un intento che non è nella tabella va a "fallback".
  • handle(request, handlers) -> la richiesta è un dict come {"intent": ..., "text": ...} e handlers associa un nome a una funzione chiamabile. Percorri in ordine la catena dell'intento, fai try su ogni gestore, e restituisci il risultato del primo che non solleva errori. Riporta quale gestore ha vinto, per esempio {"handler": name, "result": ...}.

Il cuore è un ciclo con un try/except così un gestore che va in crash viene catturato e vai avanti:

for name in chain_for(intent):
    fn = handlers.get(name)
    if fn is None:
        continue
    try:
        result = fn(request)
        return {"handler": name, "result": result}
    except Exception:
        continue   # this handler is down, slide to the next link

Dato che la catena finisce sempre con fallback, una richiesta non si può servire solo se manca o è rotto perfino il ripiego. Premi Run per instradare qualche richiesta, poi guardane una con un gestore principale volutamente rotto scendere all'anello successivo.

Tocca a te

Scrivi route(intent) che restituisce il nome del gestore principale per un intento (la prima voce della sua catena di ripiego; un intento sconosciuto -> "fallback"). Scrivi handle(request, handlers) dove request è {"intent", "text"} e handlers associa un nome a una funzione chiamabile: percorri la catena dell'intento, fai try su ogni gestore in ordine, e restituisci {"handler": name, "result": ...} per il primo che non solleva errori. Gli intenti sconosciuti e i gestori principali che falliscono devono scendere lungo la catena (che finisce sempre con fallback). Se ogni gestore della catena solleva un errore (o manca), non sollevare errori: restituisci {"handler": None, "result": None}, così chi chiama può mostrare un errore gentile. Sono ammesse chiavi in più come una trace dei gestori tentati.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.