小さな GPT をライブで訓練する
なぜ大切か すべてがひとつになります:埋め込み、位置、マスクしたマルチヘッドアテンション、残差と層の正規化を、次の文字の予測について Adam で訓練します。自分の CPU で、数秒で。
幅 32、2 ブロック、4 ヘッド、32 文字の文脈:約 29,000 パラメーター。それぞれ 16 の断片の 150 ステップ、ノートパソコンで数秒です。曲線を当ててください:始めと 150 ステップのあとの損失。(95 文字の上の一様な推測は ln 95 = 4.55。)
それからそこからサンプリングします。150 ステップのあとは、だいたい正しい場所に空白のある文字のスープを作ります。2,000 ステップ訓練した記録した幅 64 のモデルは、単語の形をした文章を書きます。同じコード、より多くの計算です。
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
- 層の正規化
- それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
my_guess を埋め、それから corpus.TEXT の上で model.train(150 ステップ、学習率 0.003、バッチ 16)で訓練し、履歴を hist に保ってください。呼び出しは hist = model.train(text, steps=..., lr=..., batch=...) です。辞書を返し、その hist['loss'] は 20 ステップごと(と最後のステップ)に記録した訓練の損失で、そのあと model.generate(prompt, n, temperature) が文章を書きます。(help(model.train) もこれを表示します。)最後の 5 つの記録した損失の平均は 2.85 より下でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。