シラバス レッスン 246 中 158 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

関門:壊れたトランスフォーマー(AI オフ)

なぜ大切か これはコースのエンジンで書いた GPT の前向きのたどり全体で、2 つの欠陥があります。どちらも定番で、それぞれひとつだけでも本物のチームをだましてきました。

AI チューターはオフです。ひとつの欠陥は、モデルが予測するはずの文字を見られるようにします。もうひとつは、積み重ねをずっと訓練しにくくします。両方を見つけて直してください。

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番

logits を直してください。文字を変えても、それより前の位置のどの予測も変わってはいけません。そして 200 ステップのあと、最後の 20 ステップの平均の損失は 2.65 より下でなければなりません。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。