説明文を絵に合わせる(CLIP の考え)(選択)
なぜ大切か 文章から画像の検索と、画像の生成器の「理解」の部分は、ひとつの仕掛けから始まります:絵とその説明文が近くに落ちるよう、絵のエンコーダーと文章のエンコーダーを訓練すること。それはまた InfoNCE で、2 種類のデータにまたがるものです。このレッスンは選択です:修了証には要りません。
ここのどの写真も、どう生成されたかから書いた本当の説明文がついています:"a green ring on the left"。絵の側は、凍らせた SimCLR のエンコーダー足す 16 の数へのひとつの訓練できる層です。文章の側は単語の袋(語ごとにひとつの数:説明文にあるか?)掛ける 16 の数へのひとつの訓練できる層です。
損失は 対称 です:n 組のバッチについて、どの絵も n の説明文から自分の説明文を選び、どの説明文も n の絵から自分の絵を選ばなければなりません。同じ n x n の類似度の格子の上の 2 つの交差エントロピーで、ひとつは行に沿って、ひとつは列に沿って。
試験は「正しい絵が一番」以上のことを尋ねます:最もよく合う絵は、少なくとも説明文の色を持つか? その物体を? その側を?
このレッスンの言葉と記号
- InfoNCE
- バッチが自分で立てる問いの上の交差エントロピー:ほかのどの見え方が同じ絵から来たか?
- 温度
- ソフトマックスの前に類似度を割るもの。小さいほど選択が鋭くなる
- SimCLR
- それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
pair_loss(a, b, temperature)(形 (n, 16) のエンジンのテンソル:ssl.normalize で両方を正規化(InfoNCE のレッスンと同じく、それぞれの行を長さ 1 に)、類似度を温度で割り、行に沿った交差エントロピー足す列に沿った交差エントロピー)を書き、温度 0.1 で 128 組の 600 ステップを訓練してください。テストの説明文の少なくとも 5% で正しい絵が一番なら合格です(偶然は 0.5%)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。