シラバス レッスン 246 中 165 · モジュール 14:訓練クリニック II
モジュール 14:訓練クリニック II

関門:見たことのない 3 つの壊れた実行(AI オフ)

なぜ大切か 予算のもとでひとりで診断すること。それがこのコースがモジュール 8 から築いてきた技能です。

AI チューターはオフです。3 つの実行、それぞれこのモジュールの訓練の場合からのひとつの欠陥を持ちます。練習の場合ではなく新しい実行です:別のシードで、ほかの大きさの欠陥なので、覚えた数は一致しません。予算は合わせて 9 回の調べる手段で(封印された場合を訓練するのも 1 回と数える)、ページを開いてからのすべての実行にわたって数えます(同じ場合で調べる手段を繰り返すのは無料。間違った診断か、効かない直し方は 1 回かかる)。

下のそれぞれの場合は、ひとつの欠陥を仕込んだ訓練の実行です。それぞれについて:調べる手段を使って欠陥を見つけ、それから実行を健全に戻す設定の変更として直し方を書いてください。このレッスンの欠陥:any training fault from this module。良い診断医は、ひとつの場合に調べる手段を 2 つより多く使うことはめったにありません。

調べる手段教えてくれること健全な実行
loss_curve(c)25 ステップごとの訓練の損失と、最後の、見たことのない文章での損失。いつもまずこれを見る。4.55 から約 2.9 へ。見たことのないものは約 3.0
loss_at_init(c)訓練の前の損失。95 文字の上で均等に推測する新しいモデルは ln(95) を返す。4.55
leak_check(c)後の文字が前の予測を変えられるか?False
show_batch(c)ひとつの訓練の入力とその目標を、文章として。目標 = 入力を 1 文字左にずらしたもの
update_ratio(c)最初の Adam のステップのあと、重みが自分の大きさに比べてどれだけ動いたか。モジュール 8 の規則ではない:その 0.001 から 0.1 の範囲は素の SGD のステップのためのもの。Adam の最初のステップは勾配が何であれ、どの重みもおよそ学習率だけ動かし、これらの重みは 0.02 近くで始まるので、0.01 / 0.02 で約 0.5。場合はモジュール 8 の範囲ではなく、この健全な実行と比べる。約 0.5
block_change(c)始めに、最初のブロックがそれぞれのベクトルをどれだけ変えるか。約 0.3
このレッスンの言葉と記号
ln(V)
V の記号の上で均等に推測するモデルの始めの損失:95 文字なら 4.55
ブロックの変化
始めに、ひとつのブロックがベクトルをどれだけ変えるか。1 に近ければそれを置き換えたということ
あなたの番

場合 A、B、C について diagnosis(場合から欠陥の名前へ)と fixes(場合から設定の変更の辞書へ)を埋めてください。直したあと、どの設定も健全な実行と一致しなければなりません。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。