単純な分類器で特徴を試す(線形プローブ)
なぜ大切か 最近傍は大まかな答えを出しました。学んだ特徴の標準の試験は 線形プローブ です:特徴を凍らせ、その上にいくつかのラベルで線形の分類器だけを訓練し、新しい写真で測ります。直線が物体を分けられるなら、特徴が難しい仕事をしたのです。
プローブは、画素の代わりに特徴の上でのモジュール 3 のソフトマックス回帰です:
- それぞれの特徴を訓練の組の平均と広がりで標準化する(そしてテストの組にも同じ数を使う)。
- すべての訓練の行を一度に使う、交差エントロピーの上の勾配降下:1000 ステップ、歩幅 0.5、重み減衰 0.001。
- テストの写真での正解率。
それはわざと弱くしてあります:400 のラベルの線形のモデル。それが要点です。良い特徴を発明することはできず、特徴がすでに言っていることを読めるだけです。
このレッスンの言葉と記号
- 線形プローブ
- 凍らせた特徴の上で訓練した線形の分類器:特徴がすでに言っていることの試験
- SimCLR
- それぞれの絵の 2 つの見え方と InfoNCE による自己教師あり訓練(Chen ら 2020)
述べたとおりに my_probe(F_train, y_train, F_test, y_test) を書いてください(重みとバイアスは 0 で始める)。それからあなたのプローブで、ランダムなエンコーダー(ssl.Encoder(32, seed=0))と記録した SimCLR のエンコーダーについて accuracy を埋めます。生の画素の基準(写真あたり 768 の数)はコースのプローブで計算してあり、それは同じ計算を速い行列の掛け算で float32 で行います:あなたの float64 の版は、ブラウザで 768 の入力について 30 秒かかるでしょう。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。