訓練したネットワークの再利用(転移学習)
なぜ大切か 自分の課題についてラベル付きのデータがたくさんあることはめったにありません。大きな関連するデータセットで訓練したネットワークは、すでに役立つ特徴を知っています。それを再利用すれば、小さなデータセットが遠くまで行けます。
計画:大きなきれいな図形のデータセットで conv の層を訓練します。それから、ラベル付きの画像 40 枚だけで、新しい、より難しい課題に向き合います:同じ図形ですが、ずっとノイズが多いものです。訓練した conv の層を凍らせたままにし、画像全体で平均した特徴(位置に依らない特徴は少ない例から一般化する)の上の新しい最後の層だけを訓練します。40 の画像でネットワーク全体を一から訓練するのと比べてください。
凍結:訓練のあいだ重みが更新されない層です。ファインチューニング:事前に訓練したネットワークを新しいデータで訓練し続けることです。
このレッスンの言葉と記号
- 転移学習
- ある課題で訓練した層を別の課題に再利用すること
- RECORDED(記録)
- コースが一度訓練し、学べるように同梱している本物の実行
事前の訓練はコースが一度行い、その重みが読み込まれています(記録したネットワーク)。凍らせた conv の層の上に新しい 16 から 4 の出力の層だけを訓練し(1e-2 の Adam が効く)、予測の関数を返す train_head(w1, w2, X, y, steps) と、新しいランダムな重みから 3 つの層すべてを訓練する train_scratch(X, y, steps) を書いてください。テストは両方を 1,000 のノイズの多いテストの画像で走らせます。あなたの転移のモデルは、コース自身の一からのネットワーク(固定の設定:8 と 16 チャンネル、Adam 3e-3、300 ステップ、約 58%)に少なくとも 8 点勝たなければなりません。コースの転移の実行は約 72% を出します。あなた自身の一からのネットワークは何かを学べば十分です(35% より上、偶然は 25%)。あなたのものがコースの一からのネットワークに勝ったなら、お見事です:一からの訓練をうまく調整するのは本物の技能で、それはまた、公正な比較が設定を前もって固定する理由でもあります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。