Barreras de salida y agregación de trazas
La respuesta de un modelo no es de fiar hasta que la compruebas. Dos barreras de salida cubren la mayoría de las necesidades. Una barrera de lista de permitidos exige que la salida sea exactamente una de un conjunto conocido, que es como haces fiable a un clasificador: si el modelo debe responder positive, negative o neutral, cualquier otra cosa se rechaza. Una barrera de lista de vetados señala cualquier salida que contenga un término prohibido (un secreto filtrado, un insulto, el nombre de un competidor) sin importar el texto de alrededor.
Los sistemas de producción también necesitan trazabilidad: cada llamada registrada con su entrada, su salida, su número de tokens, su latencia y su coste, para poder responder después "¿cuánto costó esto y lo lento que fue?". Agregas esos registros en un resumen: coste total y percentiles de latencia. La latencia p95 (el valor por debajo del cual llegaron el 95% de las llamadas) es el número que de verdad vigilan los ingenieros de guardia, porque las medias esconden la cola lenta.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanConstruye cuatro funciones. (1) validate_output(text, allowed_labels) -> True solo si text.strip() está en allowed_labels. (2) contains_banned(text, banned) -> True si algún término vetado aparece en text sin distinguir mayúsculas. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> un dict exactamente con esas cinco claves. (4) aggregate_traces(traces) -> construye un pandas.DataFrame a partir de los dicts de traza y devuelve un dict con n, total_cost (redondeado a 6 decimales), p50_latency y p95_latency calculados con numpy.percentile.
Construye validate_output(text, allowed_labels) (True solo cuando text.strip() es una etiqueta permitida), contains_banned(text, banned) (True cuando aparece algún término vetado, sin distinguir mayúsculas), build_trace(input_text, output_text, tokens, latency_ms, cost) (un dict con esas cinco claves) y aggregate_traces(traces) (un DataFrame de pandas resumido en {n, total_cost (round 6dp), p50_latency, p95_latency} mediante numpy.percentile). Una etiqueta permitida debe pasar mientras una no permitida se bloquea, y dos listas de vetados distintas deben dar veredictos distintos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.