シラバス レッスン 250 中 108 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

見てみよう:注意の重み

スケール付き内積注意を実装しました。ここでは、それらの行列が実際に 何をするのか を見ます。注意 は、各単語が文のすべての単語(自分自身も含む)を見て、それぞれがどれだけ重要かを点数にし、それらの 重み付きの混ぜ合わせ として自分を作り直せるようにします。

再生を押してください。単語 sat が the cat sat 全体に注意を向けるのを見てください。そのままの点数が合計 1 のソフトマックスの重みになり、いちばん太い線が最も重要な単語を指し、sat は文脈を、主に cat から吸収します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。