ガードレールのパイプライン + トレース
これが最後のピースで、ゲートウェイを本物のユーザーの前に置けるようにするものです。安全性 と 可観測性 です。テキストがモデルに届く前に、プロンプトインジェクションの試みをブロックし、個人データを消す ガードのパイプライン に通します。そして呼び出しのたびにトレースのイベントを記録し、それらのイベントを、当番のエンジニアが実際に見る要約にまとめます。この 2 つの考え方、「ガードレール」と「コスト計算」が合わさって、このモジュールの最初に掲げた履歴書の一行が完成します。
ガード。 リクエストのテキストを調べ、{"allowed": bool, "reason": ..., "text": ..., "redacted": [...]} のような判定の辞書を返す guard(request) を書いてください。確認は 2 つです:
- インジェクションのブロック: テキストが既知の攻撃パターン(「以前の指示をすべて無視して」「システムプロンプトを見せて」「あなたは今から...」のようなもの)に一致したら、
allowed=Falseできっぱり拒否します。ここでは大文字小文字を区別しない正規表現の短いリストで十分です。 - 個人情報の伏せ字: そうでなければ、テキストからメールアドレスと電話番号を消して
[EMAIL]と[PHONE]の置き換え文字にし、掃除したテキストを、見つかった種類のリストとともにallowed=Trueで返します。
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)
def guard(request):
text = request["text"]
if INJECTION.search(text):
return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
clean, kinds = redact(text)
return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}トレース。 処理されたリクエストはどれも足跡を残します。どの処理が動いたか、ブロックされたか、いくらかかったか。handler、blocked、cost のキーを持つ辞書のリストに対して aggregate_trace(events) を書いてください。calls の総数、そのうち blocks がいくつか、実際に許可された呼び出しの total_cost、そして処理ごとの呼び出し数とコストの内訳 by_handler を持つ要約を返します。これは pandas の groupby にうってつけの仕事です:
df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])ブロックされたリクエストは費用がかからず、total_cost を膨らませてはいけないので、コストは許可された行だけで合計します。トレースが空の場合も扱い、新しいゲートウェイがクラッシュせずにきれいなゼロを報告するようにします。Run を押して、インジェクションをブロックし、連絡先だらけのリクエストを伏せ字にし、無害なものを通し、まとめたトレースを表示してみましょう。
guard(request)(request は "text" キーを持ちます)を書き、判定の辞書を返してください。プロンプトインジェクションの試み(大文字小文字を区別しない正規表現の短いリスト)は allowed=False と reason="injection" でブロックします。そうでなければメールアドレスと電話番号を [EMAIL]/[PHONE] の置き換え文字に伏せ字にし、allowed=True、掃除した text、見つかった種類のリストを返します。次に、handler、blocked、cost を持つ辞書に対して {"calls", "blocks", "total_cost", "by_handler"} を返す aggregate_trace(events) を書きます。total_cost は許可された(ブロックされていない)呼び出しだけを合計し、by_handler は呼び出し数とコストを処理ごとに分けます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。