大きな先生、小さな生徒(蒸留)
なぜ大切か 小さなモデルは走らせるのが安いものです。蒸留(Hinton、Vinyals、Dean、2015)は、小さなモデルが大きなものの正しい答えだけでなく答えの全体を写すよう訓練します:「たぶん e、もしかすると a、決して z ではない」。そのやわらかい答えは、文章だけより例あたり多くの情報を運びます。
生徒:幅 16 の GPT(約 8,000 の重み)。先生:幅 64 の GPT。損失は 2 つの部分を混ぜます:半分は文章とのふつうの交差エントロピー、半分は先生の確率との交差エントロピーで、どちらも先生の 2 番目の選択が効くよう温度 2 でやわらげます。
コースは生徒を両方のやり方で、3 つのシードで訓練し、300、1000、3000 ステップでの取り分けた英語の損失を記録しました。
まず予測してください:300 ステップで、教わった生徒はひとりで訓練したものに勝つか? そして 3000 では?
このレッスンの言葉と記号
- LoRA
- 低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
- 蒸留
- 小さな生徒が大きな先生の確率の全体を写すよう訓練すること
- 温度(蒸留)
- 2 番目の選択がより効くよう、ソフトマックスの前に点数を割ること
300 と 3000 ステップについて guess を "taught wins"、"alone wins"、"no clear difference" のどれかに設定してください。それから gap を埋めます:300、1000、3000 ステップのそれぞれについて、ひとりの平均引く教わったものの平均(正なら蒸留が助けになった)。そしてそこから規則で verdict を設定してください:どちら向きでも 0.03 未満の差は、はっきりした違いなしです。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。