SimCLR:ひとつの写真の 2 つの見え方
なぜ大切か 今度は手法の全体です:ランダムな見え方足す InfoNCE を繰り返す。どの時点でもラベルはありません。それが何を学ぶかは、ほとんどすべてあなたがするひとつの選択に依存します:2 つの見え方の間のどの違いを無視するよう言われるか。
それぞれのステップ:写真のバッチを取り、ssl.augment でそれぞれのランダムな見え方を 2 つ作り、両方を符号化し、小さな頭で射影し、InfoNCE を最小にします。拡張が課題を決めます:ひとつの写真の 2 つの見え方の間で違うもの(切り抜きの位置、鏡像、明るさ、彩度)は、ネットワークが無視することを学ぶものです。同じままのもの(物体)は、保つことを学ぶものです。
本物の SimCLR の実行は何千ものステップと大きなバッチを使います。ここでは損失が落ちるのを見るために短いものをライブで走らせ(幅 8、バッチ 32、80 ステップ)、それからコースの記録した長い実行(幅 32、128 の 2500 ステップ)を読みます。
記録した実行は同じ手順の 2 つの変種を含みます:見え方にランダムな 色相の回転 を加えるもの(SimCLR の論文は、その写真では強い色の変化が欠かせないと見つけた)と、より高い温度(0.5)。
この分野の今 SimCLR は多くの負例(バッチの中のほかの写真)を必要とするので、とても大きなバッチで最もよく訓練されます(論文は 4,096 を使った)。後の手法は負例を捨てます:BYOL(2020)と DINO(2021)は、ゆっくり更新される自分自身の写しに合わせるようネットワークを訓練し、MAE(2021)は画像のパッチの 4 分の 3 を隠してそれを作り直します。このモジュールの空欄埋めの絵の版です。文章でも同じ分かれ方があります:マスク予測(BERT)と次のトークンの予測(GPT)。
このレッスンの言葉と記号
- マスク予測
- 入力の一部を隠し、ネットワークがそれを埋めるよう訓練すること
- 見え方
- ランダムに変えた絵の写し:切り抜き、反転、明るく、色を薄く
- 拡張
- 見え方を作るランダムな変化。ネットワークが何を無視することを学ぶかを決める
- InfoNCE
- バッチが自分で立てる問いの上の交差エントロピー:ほかのどの見え方が同じ絵から来たか?
- 温度
- ソフトマックスの前に類似度を割るもの。小さいほど選択が鋭くなる
- SimCLR
- それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
ライブの事前訓練を走らせ、最初の 10 と最後の 10 のステップの上の平均の損失で live を埋めてください。それから記録した実行から report を埋めます:生の画素、ランダムなエンコーダー、SimCLR、色相の回転付きの SimCLR、教師ありについてのプローブの正解率(元の物体)、そして gap、SimCLR が教師ありからどれだけ遅れているかを割合で(0.05 は 5 点の意味)。最後に hue_helped を True か False に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。