出力の守りとトレースの集計
モデルの返答は、確かめるまでは信用できません。2 つの出力の守りで、ほとんどの必要をまかなえます。許可リストの守りは、出力が既知の組のどれかちょうど 1 つであることを求めます。分類器を信頼できるものにするのはこうしてです:モデルが positive、negative、neutral で答えるはずなら、それ以外はすべて拒否されます。拒否リストの守りは、まわりのテキストにかかわらず、禁止された語(漏れた秘密、差別語、競合他社の名前)を含む出力に印を付けます。
本番のシステムには追跡可能性も必要です:どの呼び出しも、その入力、出力、トークン数、遅延、コストと一緒に記録しておけば、あとから「これはいくらかかって、どれくらい遅かったのか?」に答えられます。そうした記録を集計してまとめにします:合計のコストと、遅延のパーセンタイルです。p95 の遅延(呼び出しの 95% がそれ未満で届いた値)は、当番のエンジニアが実際に見張る数です。平均は遅い裾野を隠してしまうからです。
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the mean関数を 4 つ作ってください。(1) validate_output(text, allowed_labels) -> text.strip() が allowed_labels にあるときだけ True。(2) contains_banned(text, banned) -> 禁止された語のどれかが、大文字・小文字を区別せずに text に現れれば True。(3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> ちょうどその 5 つのキーを持つ辞書。(4) aggregate_traces(traces) -> トレースの辞書から pandas.DataFrame を作り、n、total_cost(小数点以下 6 桁に丸める)、そして numpy.percentile で計算した p50_latency と p95_latency を持つ辞書を返す。
validate_output(text, allowed_labels)(text.strip() が許可されたラベルのときだけ True)、contains_banned(text, banned)(禁止された語のどれかが、大文字・小文字を区別せずに現れれば True)、build_trace(input_text, output_text, tokens, latency_ms, cost)(その 5 つのキーを持つ辞書)、そして aggregate_traces(traces)(numpy.percentile で {n, total_cost (round 6dp), p50_latency, p95_latency} にまとめた pandas の DataFrame)を作ってください。許可されたラベルは通り、許可されていないラベルはブロックされなければならず、2 つの違う禁止リストは違う判定にならなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。