速く生成する:キーとバリューのキャッシュ
なぜ大切か チャットボットは一度にひとつのトークンを書きます。素朴にやると、新しいトークンのたびに、そこまでの文章全体のキーとバリューを計算し直します。キーとバリューのキャッシュが、返事がすばやく流れてくる理由です。
見てみる
アニメーションを再生してください。因果マスクがあると、前の位置のキーとバリューは、新しいトークンが届いても決して変わりません。なので取っておきます:新しいトークンごとに自分の q、k、v だけを計算し、k と v をキャッシュに加え、キャッシュしたキーの上で q でアテンションを向けます。
新しいトークンごとの仕事:素朴なやり方は長さ t の文章について t のキーとバリューを計算し、キャッシュは 1 を計算します。1,000 トークンの返事の上では、1,000 に対して約 500,000 のキーの計算です。
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- 自己アテンション
- どの位置も同じ文章の位置にアテンションを向ける
- 因果マスク
- 対角線より上の点数をマイナス無限大にすること:どの位置も未来を見ない
- キーとバリューのキャッシュ
- 前のキーとバリューを取っておくので、新しいトークンごとの代価は一歩
cached_step(x, cache, Wq, Wk, Wv) を書いてください:x は新しい 1 行です。そのキーとバリューを cache["K"] と cache["V"](リスト)に加え、キャッシュしたすべての位置の上のそのアテンションの出力を返します。X の行を一度にひとつずつ入れると、因果的な自己アテンションをちょうど再現しなければなりません。keys_naive と keys_cached を設定してください:1,000 のトークンを作るのに、それぞれのやり方が何個のキーのベクトルを計算するか。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。