Proteções de Saída e Agregação de Rastreio
A resposta de um modelo não é confiável até você verificá-la. Duas proteções de saída cobrem a maioria das necessidades. Uma proteção de lista permitida exige que a saída seja exatamente um item de um conjunto conhecido, e é assim que você torna um classificador confiável: se o modelo deve responder positive, negative ou neutral, qualquer outra coisa é rejeitada. Uma proteção de lista proibida sinaliza qualquer saída que contenha um termo banido (um segredo vazado, uma ofensa, o nome de um concorrente), não importa o texto em volta.
Sistemas em produção também precisam de rastreabilidade: cada chamada registrada com sua entrada, saída, número de tokens, latência e custo, para que você possa responder "quanto isso custou e quão lento foi?" depois do fato. Você agrega esses registros em um resumo: custo total e percentis de latência. A latência p95 (o valor abaixo do qual chegaram 95% das chamadas) é o número que engenheiros de plantão realmente acompanham, porque médias escondem a cauda lenta.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanConstrua quatro funções. (1) validate_output(text, allowed_labels) -> True só se text.strip() estiver em allowed_labels. (2) contains_banned(text, banned) -> True se algum termo banido aparecer em text, sem diferenciar maiúsculas e minúsculas. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> um dict com exatamente essas cinco chaves. (4) aggregate_traces(traces) -> monte um pandas.DataFrame a partir dos dicts de trace e retorne um dict com n, total_cost (arredondado para 6 casas decimais), p50_latency e p95_latency calculados com numpy.percentile.
Construa validate_output(text, allowed_labels) (Verdadeiro apenas quando text.strip() é um rótulo permitido), contains_banned(text, banned) (Verdadeiro quando qualquer termo proibido aparece, sem diferenciar maiúsculas de minúsculas), build_trace(input_text, output_text, tokens, latency_ms, cost) (um dicionário com aquelas cinco chaves) e aggregate_traces(traces) (um pandas DataFrame resumido para {n, total_cost (round 6dp), p50_latency, p95_latency} via numpy.percentile). Um rótulo permitido deve passar enquanto um não permitido bloqueia, e duas listas proibidas diferentes devem dar vereditos diferentes.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.