モジュール 13:アテンションとトランスフォーマー
関門:壊れたトランスフォーマー(AI オフ)
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か これはコースのエンジンで書いた GPT の前向きのたどり全体で、2 つの欠陥があります。どちらも定番で、それぞれひとつだけでも本物のチームをだましてきました。
AI チューターはオフです。ひとつの欠陥は、モデルが予測するはずの文字を見られるようにします。もうひとつは、積み重ねをずっと訓練しにくくします。両方を見つけて直してください。
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
あなたの番
logits を直してください。文字を変えても、それより前の位置のどの予測も変わってはいけません。そして 200 ステップのあと、最後の 20 ステップの平均の損失は 2.65 より下でなければなりません。
AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。