シラバス レッスン 246 中 194 · モジュール 18:ラベルなしで学ぶ
モジュール 18:ラベルなしで学ぶ

空欄を埋める(マスク予測)

なぜ大切か ラベルのないデータから課題を作る最も単純なやり方:その一部を隠し、ネットワークに埋めるよう求めること。言語モデルはまさにこのやり方で訓練されます(次の語を隠す)。画像のモデルはパッチを隠します。穴をうまく埋めるには、ネットワークはそのまわりにあるものを理解しなければなりません。

それぞれの写真の真ん中の 4 x 4 のパッチを隠します。ネットワークはそのまわりの 8 x 8 の窓(ほかの 48 画素、x 3 色)を見て、隠れた 16(x 3)を予測します。損失は平均 2 乗誤差です。どこにもラベルはありません:写真が自分の答えの鍵です。

勝つべき 2 つの単純な埋め方:写真の平均の色(誤差約 0.035)と、穴のすぐまわりの画素の平均(約 0.019)。2 つ目に勝つネットワークは、形と光がどう続くかについて何かを学んでいます。

このレッスンの言葉と記号
マスク予測
入力の一部を隠し、ネットワークがそれを埋めるよう訓練すること
あなたの番

訓練のループの本体を書いてください(64 枚の写真の 400 ステップ)。検証の誤差が 0.017 未満なら合格です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。