シラバス レッスン 246 中 215 · モジュール 20:訓練したモデルを安く適応させる
モジュール 20:訓練したモデルを安く適応させる

好みを教える(DPO)

なぜ大切か チャットのモデルは文章で訓練されるだけではありません。好みで調整されます:2 つの答えのうち、人がどちらをより好んだか。DPO(Rafailov ら 2023)は、ひとつの損失で、別の報酬モデルなしに、組から直接それをします。やりすぎるのも簡単です。

ここでの好みは、元のモデルが決して使わない書き方です:単語をアンダースコアでつなぐこと("snake_case talk")。それぞれの組は、レッスンの文章からの 20 文字のプロンプト、本物の次の 10 文字(退けるもの)、そしてどの空白もアンダースコアとして書いた同じ 10 文字(選ぶもの)を持ちます。

ひとつの組についての DPO の損失は、調整したモデルが選ぶ答えを参照モデルよりどれだけ起こりやすくするかを、退ける答えについての同じものと比べます:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta は、調整したモデルをどれだけ強く参照の近くにつなぎとめるかを決めます。あとの 2 つの尺度:60 の新しいプロンプトでアンダースコアとして書いた単語の隙間の割合(書き方)と、隙間ではなく文字だけを数えた取り分けた英語での損失(損傷)。

このレッスンの言葉と記号
LoRA
低ランク適応:凍らせた重みの行列足す 2 つの細い訓練できる行列、x W + (alpha / r) x A B
ランク(r)
LoRA の 2 つの行列がどれだけ細いか:行列あたり (d_in + d_out) x r の訓練できる重み
DPO
直接の好みの最適化:より良い答えとより悪い答えの組から調整すること
参照モデル
DPO がどの変化もそれと比べて測る、凍らせたモデル
beta(DPO)
調整したモデルをどれだけ強く参照の近くにつなぎとめるか
あなたの番

書き方が学ばれ(アンダースコアの割合が少なくとも 0.8)、文字だけの損失が 2.6 未満にとどまる(元のモデルは約 1.94)よう、steps(多くとも 60)を選んでください。いくつかの値を試してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。