シラバス レッスン 246 中 153 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

小さな GPT をライブで訓練する

なぜ大切か すべてがひとつになります:埋め込み、位置、マスクしたマルチヘッドアテンション、残差と層の正規化を、次の文字の予測について Adam で訓練します。自分の CPU で、数秒で。

幅 32、2 ブロック、4 ヘッド、32 文字の文脈:約 29,000 パラメーター。それぞれ 16 の断片の 150 ステップ、ノートパソコンで数秒です。曲線を当ててください:始めと 150 ステップのあとの損失。(95 文字の上の一様な推測は ln 95 = 4.55。)

それからそこからサンプリングします。150 ステップのあとは、だいたい正しい場所に空白のある文字のスープを作ります。2,000 ステップ訓練した記録した幅 64 のモデルは、単語の形をした文章を書きます。同じコード、より多くの計算です。

このレッスンの言葉と記号
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
ヘッド
横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
層の正規化
それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
あなたの番

my_guess を埋め、それから corpus.TEXT の上で model.train(150 ステップ、学習率 0.003、バッチ 16)で訓練し、履歴を hist に保ってください。呼び出しは hist = model.train(text, steps=..., lr=..., batch=...) です。辞書を返し、その hist['loss'] は 20 ステップごと(と最後のステップ)に記録した訓練の損失で、そのあと model.generate(prompt, n, temperature) が文章を書きます。(help(model.train) もこれを表示します。)最後の 5 つの記録した損失の平均は 2.85 より下でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。