シラバス レッスン 148 中 97 · 出力を判定する
出力を判定する

口調ではなく、出力を読む

なぜ大切か アシスタントの答えは主張の束です。このパッケージは存在する、この差分はバグを直すだけ、このコードは境界の場合を扱う、このコマンドは安全。どの主張も確かめられ、ほとんどの確認は安いものです。

前のモジュールは、失敗するテストで助言が間違いだと証明しました。このモジュールはもう一歩広げます。配管のように見えるので人が飛ばす、答えの部分を確かめるのです。

  • 名前:パッケージ、関数、フラグ。コードを生成するモデルの大きな研究では、平均して、商用のモデルが勧めたパッケージの少なくとも 5.2%、公開のモデルのものの 21.7% が存在せず、200,000 を超える違う作られた名前がありました(Spracklen et al., USENIX Security 2025)。攻撃者は作られた名前を登録して待てます。
  • 範囲:バグを直し、こっそりほかの 3 つの関数を変える差分。
  • 選択:あいまいな依頼は、大文字小文字、順番、空の値のような、あなたが言わなかったことをアシスタントに決めさせます。
  • 一致:2 回尋ねて同じ答えを 2 回得ても、それが正しいことにはなりません。
  • 行動:コマンドを動かすエージェントは、意図したフォルダの外へ出ることがあります。

スロップスクワッティング:モデルが作りがちな名前でパッケージを登録し、それを入れるコードが攻撃者のコードを動かすようにすることです。

タイポスクワッティング:人気のパッケージからひと間違い離れた名前(requets)を登録し、人かモデルの打ち間違いを待つ、もっと古い手口です。

このモジュールのアシスタントの出力は、本物のアシスタントが生むのとまさに同じ形で、このコースのために書いたものです。特定のモデルの記録ではありません。

まとめ 答えを主張に分け、安いものは毎回確かめましょう:名前、範囲、選択、一致、行動。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。