シラバス レッスン 246 中 193 · モジュール 18:ラベルなしで学ぶ
モジュール 18:ラベルなしで学ぶ

誰もラベルをつけなかった写真を仕分ける

なぜ大切か ラベルは高くつきます:誰かがすべての絵を見なければなりません。ラベルのない絵はほぼ無料です。もしネットワークがラベルのない絵だけから役立つ特徴を学べれば、どのモデルも何千ではなく何百万の例から始められます。それが 自己教師あり学習 で、今日の大きなモデルはそうやって事前訓練されます。

このモジュールの絵は、散らかった場面の 6 種類の物体(ボール、箱、輪、テント、十字、月)の小さな 16 x 16 の写真です:ランダムな背景、どの側からも来る光、影、手前のもの、ぼやけとセンサーのノイズ。ダウンロードではなく生成したもので、本物の写真のようにふるまうよう作られています:コースはどの自然の写真にも共通する 3 つの統計(細部が尺度とともにどう減るか、縁がどれだけまばらか、隣り合う画素がどれだけ似ているか)を測り、これらの写真は 3 つすべてで本物の写真の切り抜きの範囲の中にあります。photos.stats(X) がそれを表示します。

どんな特徴の組にも使える手早い試験:それぞれの写真について、その特徴で 5 つの最近傍を見つけ、いくつが同じ種類の物体を示すかを数えます。ランダムな推測は 6 分の 1 です。

3 種類の特徴:

  • 生の画素。
  • 一度も訓練していない、ランダムな重みの CNN。
  • 4000 枚の写真で、ラベルをまったく使わずに SimCLR で事前訓練したあとの同じ CNN(コースが一度訓練した。どうやってかはレッスン 5 で見る)。

まず予測してください:どれが同じ物体の写真を最も近くに置くか?

このレッスンの言葉と記号
自己教師あり学習
データが自分で立てる課題によって、ラベルのないデータから特徴を学ぶこと
SimCLR
それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
あなたの番

my_guess を "raw"、"random"、"simclr" のどれかに設定してください。agreement(F, labels, k) を書きます:それぞれの特徴を標準化し、それぞれの行を長さ 1 に拡大し、同じラベルを持つ k の最近傍(コサイン類似度で。写真は自分自身の近所ではない)の割合を返します。3 種類の特徴について scores を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。