シラバス レッスン 246 中 196 · モジュール 18:ラベルなしで学ぶ
モジュール 18:ラベルなしで学ぶ

バッチから相棒を選ぶ(InfoNCE)

なぜ大切か SimCLR の訓練の信号のすべてはひとつの損失で、あなたはそれをもう知っています:ネットワークが自分で立てる多肢選択の問いの上の、交差エントロピーです。

n 枚の写真のバッチを取り、それぞれのランダムな見え方を 2 つ作ります(切り抜き、反転、明るさと色の変更)。それで 2n の見え方ができます。それぞれの見え方について、問いは:ほかの 2n - 1 の見え方のどれが同じ写真から来たか? ちょうどひとつがそうです。

  1. どの見え方も短いベクトル z に符号化し、それぞれの z を長さ 1 に拡大する。
  2. 2 つの見え方の類似度 = その内積(コサイン)を 温度(ここでは 0.2)で割ったもの:小さな温度は点数を鋭くする。
  3. 見え方は自分を選んではいけない:自分の点数はマイナス無限大にする。
  4. 交差エントロピー、正しい答えは相棒:見え方 i の相棒は i + n(と、その逆)。

場面を見てください:6 枚の写真、それぞれ 2 つの見え方、類似度の格子、そしてそれぞれの行の選択。

小さな数

2 枚の写真なので、4 つの見え方。見え方 0 の見え方 1、2、3 への類似度が 0.1、0.9、0.2(相棒は見え方 2)なら、0.2 で割ると 0.5、4.5、1.0 になります。ソフトマックスは相棒に 0.954 を与え、見え方 0 の損失は -log 0.954 = 0.047 です。

このレッスンの言葉と記号
見え方
ランダムに変えた絵の写し:切り抜き、反転、明るく、色を薄く
InfoNCE
バッチが自分で立てる問いの上の交差エントロピー:ほかのどの見え方が同じ絵から来たか?
温度
ソフトマックスの前に類似度を割るもの。小さいほど選択が鋭くなる
SimCLR
それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
あなたの番

形 (2n, d) の z について、すべての 2n 行の上の平均の損失を返す info_nce(z, temperature) を素の NumPy で書いてください。それから example を計算します:始めのコードの 4 つの見え方のバッチの損失。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。