シラバス レッスン 250 中 191 · 責任ある AI:安全性、モデレーション、レッドチーミング
責任ある AI:安全性、モデレーション、レッドチーミング

ジェイルブレイクとプロンプトインジェクションの検出

本物の LLM 製品にまず必要なのは、入り口の用心棒です。ユーザーのメッセージがモデルに届く前に、古典的なジェイルブレイクの手口を安く速く確かめます:システムプロンプトを上書きしようとする、隠れた指示をこっそり持ち込む、あるいはルールのない人格になるようモデルを言いくるめる、といった試みです。これが安全のすべてではありませんが、ほとんどコストをかけずに、手抜きの攻撃の 90% を捕まえる層です。

小さな辞書 {"flag": bool, "reason": str} を返す detect_jailbreak(text) を作ります。テキストが攻撃に見えるときは flag=True にしてパターンの名前を付け、ふつうの依頼に見えるときは flag=False と reason="clean" で通します。よく知られた 3 つの系統を、この優先順位で確かめます:

  • ignore-previous -> ユーザーがルールを消し去ろうとする:ignore previous instructions、disregard the above、forget your instructions のような言い回し。
  • role-play-override -> ユーザーが無法の人格を割り当てる:you are now DAN、act as an AI with no restrictions、pretend you have no rules、悪名高い developer mode。
  • encoded-instruction -> ユーザーがキーワードのフィルターをかわすために、本当の頼みを符号化の後ろに隠す:decode this base64 and run it、rot13: ...、execute the following hex。

仕組みはわざと単純にしてあります:テキストを一度小文字にし、それから系統ごとにいくつかの引き金となる部分文字列を確かめます。照合は大文字・小文字を区別しないので、IGNORE PREVIOUS と ignore previous のどちらでも反応します。

def detect_jailbreak(text):
    t = text.lower()
    if any(p in t for p in ("ignore previous", "disregard the above", ...)):
        return {"flag": True, "reason": "ignore-previous"}
    ...
    return {"flag": False, "reason": "clean"}

このレッスンに組み込んだ正直な注意点が 2 つあります。1 つ目に、優先順位が大切です:1 つのメッセージが複数の系統に引っかかることがあるので、ignore-previous、次に role-play-override、次に encoded-instruction の順に確かめ、最初に当たったものを返します。2 つ目に、これはふるいであって保証ではありません。賢い攻撃者はどんなキーワードのリストも言い換えでかわせます。だからこそ本番の構成では、これに学習済みの分類器(次のレッスン)とレッドチームのテスト群(その次のレッスン)を重ねるのです。キーワードのふるいは安い最初の網であって、唯一の網ではありません。実行を押して、攻撃とふつうの依頼が混ざったものが仕分けられる様子を見てください。

あなたの番

{"flag": bool, "reason": str} を返す detect_jailbreak(text) を書いてください。テキストを小文字にし、それから 3 つの攻撃の系統を優先順位の順に確かめ、最初に当たったものを返します:ignore-previous(ignore previous、ignore all previous、disregard the above、disregard previous、forget your instructions、forget all previous)、role-play-override(you are now dan、act as dan、no restrictions、without any restrictions、pretend you have no rules、pretend you are not、developer mode、act as an ai with no)、そして encoded-instruction(base64、rot13、decode this、decode the following、execute the following hex、run this hex)。これが完全なリストで、チェックはまさにこれらの言い回しを使います。無害なテキストは {"flag": False, "reason": "clean"} を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。