ニューラルネットの直感、LLM と AI キャップストーン
見てみよう:注意の重み
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
スケール付き内積注意を実装しました。ここでは、それらの行列が実際に 何をするのか を見ます。注意 は、各単語が文のすべての単語(自分自身も含む)を見て、それぞれがどれだけ重要かを点数にし、それらの 重み付きの混ぜ合わせ として自分を作り直せるようにします。
再生を押してください。単語 sat が the cat sat 全体に注意を向けるのを見てください。そのままの点数が合計 1 のソフトマックスの重みになり、いちばん太い線が最も重要な単語を指し、sat は文脈を、主に cat から吸収します。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。