DPO の選好の組を作る
教師ありファインチューニングにはプロンプトごとに手本の答えが 1 つ必要です。選好チューニング(DPO)には別のものが必要で、しかもそれは集めやすいことがよくあります:同じプロンプトについて、選ばれた答えと退けられた答えで、前者を好むように学ぶのです。そうした組が直接手に入ることはめったにありませんが、順位付けならとてもよく手に入ります。人間(あるいは判定役のモデル)がいくつかの候補の答えを良い順に並べたものです。このレッスンでは順位付けを、DPO が実際に学習に使う組のデータに変えます。
ルールは単純です:候補が良い順に並んでいるなら、一方がもう一方より上位にあるすべての組で、上位のほうが chosen、下位のほうが rejected です。n 個の候補の順位付きリストからは、前のものと後ろのもののあらゆる組み合わせ、n*(n-1)/2 個の選好の組ができます:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsranked の中のすべてのインデックスの組 i < j について 1 つずつ(つまり ranked[i] が ranked[j] より選ばれる)、その順番で {"prompt", "chosen", "rejected"} の辞書のリストを返す to_preference_pairs(prompt, ranked) を作ってください。候補が 2 つ未満なら空のリストになります(表すべき選好がありません)。トレーナーが文脈を知れるように、同じ prompt がすべての組に乗ります。実行を押して、順位付けを学習用の組に展開しましょう。
ranked が良い順に並べた候補の答えのリストである to_preference_pairs(prompt, ranked) を書いてください。すべての i < j(chosen が rejected より上位)について {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} を、(i, j) の昇順で並べたリストを返します。候補が 2 つ未満のリストなら [] を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。