Conteúdo do curso Lição 183 de 250 · Produzindo LLMs em produção: Custo, Caching e Guardrails
Produzindo LLMs em produção: Custo, Caching e Guardrails

Proteções de Saída e Agregação de Rastreio

A resposta de um modelo não é confiável até você verificá-la. Duas proteções de saída cobrem a maioria das necessidades. Uma proteção de lista permitida exige que a saída seja exatamente um item de um conjunto conhecido, e é assim que você torna um classificador confiável: se o modelo deve responder positive, negative ou neutral, qualquer outra coisa é rejeitada. Uma proteção de lista proibida sinaliza qualquer saída que contenha um termo banido (um segredo vazado, uma ofensa, o nome de um concorrente), não importa o texto em volta.

Sistemas em produção também precisam de rastreabilidade: cada chamada registrada com sua entrada, saída, número de tokens, latência e custo, para que você possa responder "quanto isso custou e quão lento foi?" depois do fato. Você agrega esses registros em um resumo: custo total e percentis de latência. A latência p95 (o valor abaixo do qual chegaram 95% das chamadas) é o número que engenheiros de plantão realmente acompanham, porque médias escondem a cauda lenta.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Construa quatro funções. (1) validate_output(text, allowed_labels) -> True só se text.strip() estiver em allowed_labels. (2) contains_banned(text, banned) -> True se algum termo banido aparecer em text, sem diferenciar maiúsculas e minúsculas. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> um dict com exatamente essas cinco chaves. (4) aggregate_traces(traces) -> monte um pandas.DataFrame a partir dos dicts de trace e retorne um dict com n, total_cost (arredondado para 6 casas decimais), p50_latency e p95_latency calculados com numpy.percentile.

Sua vez

Construa validate_output(text, allowed_labels) (Verdadeiro apenas quando text.strip() é um rótulo permitido), contains_banned(text, banned) (Verdadeiro quando qualquer termo proibido aparece, sem diferenciar maiúsculas de minúsculas), build_trace(input_text, output_text, tokens, latency_ms, cost) (um dicionário com aquelas cinco chaves) e aggregate_traces(traces) (um pandas DataFrame resumido para {n, total_cost (round 6dp), p50_latency, p95_latency} via numpy.percentile). Um rótulo permitido deve passar enquanto um não permitido bloqueia, e duas listas proibidas diferentes devem dar vereditos diferentes.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.