シラバス レッスン 246 中 195 · モジュール 18:ラベルなしで学ぶ
モジュール 18:ラベルなしで学ぶ

単純な分類器で特徴を試す(線形プローブ)

なぜ大切か 最近傍は大まかな答えを出しました。学んだ特徴の標準の試験は 線形プローブ です:特徴を凍らせ、その上にいくつかのラベルで線形の分類器だけを訓練し、新しい写真で測ります。直線が物体を分けられるなら、特徴が難しい仕事をしたのです。

プローブは、画素の代わりに特徴の上でのモジュール 3 のソフトマックス回帰です:

  1. それぞれの特徴を訓練の組の平均と広がりで標準化する(そしてテストの組にも同じ数を使う)。
  2. すべての訓練の行を一度に使う、交差エントロピーの上の勾配降下:1000 ステップ、歩幅 0.5、重み減衰 0.001。
  3. テストの写真での正解率。

それはわざと弱くしてあります:400 のラベルの線形のモデル。それが要点です。良い特徴を発明することはできず、特徴がすでに言っていることを読めるだけです。

このレッスンの言葉と記号
線形プローブ
凍らせた特徴の上で訓練した線形の分類器:特徴がすでに言っていることの試験
SimCLR
それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
あなたの番

述べたとおりに my_probe(F_train, y_train, F_test, y_test) を書いてください(重みとバイアスは 0 で始める)。それからあなたのプローブで、ランダムなエンコーダー(ssl.Encoder(32, seed=0))と記録した SimCLR のエンコーダーについて accuracy を埋めます。生の画素の基準(写真あたり 768 の数)はコースのプローブで計算してあり、それは同じ計算を速い行列の掛け算で float32 で行います:あなたの float64 の版は、ブラウザで 768 の入力について 30 秒かかるでしょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。