Protezioni dell'uscita e aggregazione delle tracce
La risposta di un modello non è affidabile finché non la controlli. Due protezioni dell'uscita coprono la maggior parte dei bisogni. Una protezione a lista ammessa pretende che l'uscita sia esattamente una di un insieme noto, ed è così che rendi affidabile un classificatore: se il modello deve rispondere positive, negative o neutral, qualsiasi altra cosa viene rifiutata. Una protezione a lista vietata segnala qualsiasi uscita che contiene un termine bandito (un segreto trapelato, un insulto, il nome di un concorrente) qualunque sia il testo intorno.
I sistemi di produzione hanno anche bisogno di tracciabilità: ogni chiamata registrata con il suo input, il suo output, il numero di token, la latenza e il costo, così puoi rispondere a posteriori a "quanto è costato e quanto è stato lento?". Aggreghi quelle registrazioni in un riassunto: costo totale, e percentili di latenza. La latenza p95 (il valore sotto cui sono arrivate il 95% delle chiamate) è il numero che guardano davvero gli ingegneri di turno, perché le medie nascondono la coda lenta.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanCostruisci quattro funzioni. (1) validate_output(text, allowed_labels) -> True solo se text.strip() è in allowed_labels. (2) contains_banned(text, banned) -> True se un termine bandito compare in text senza distinguere maiuscole. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> un dict con esattamente quelle cinque chiavi. (4) aggregate_traces(traces) -> costruisci un pandas.DataFrame dai dict delle tracce e restituisci un dict con n, total_cost (arrotondato a 6 decimali), p50_latency e p95_latency calcolati con numpy.percentile.
Costruisci validate_output(text, allowed_labels) (True solo quando text.strip() è un'etichetta ammessa), contains_banned(text, banned) (True quando compare un termine bandito, senza distinguere maiuscole), build_trace(input_text, output_text, tokens, latency_ms, cost) (un dict con quelle cinque chiavi), e aggregate_traces(traces) (un DataFrame pandas riassunto in {n, total_cost (round 6dp), p50_latency, p95_latency} con numpy.percentile). Un'etichetta ammessa deve passare mentre una non ammessa viene bloccata, e due liste vietate diverse devono dare verdetti diversi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.