ニューラルネットワーク:ニューロンから Transformer まで
ニューロン 1 つから Transformer まで、ニューラルネットワークを自分で作り、それから生成モデル、拡散、スケーリング則、モデルの中をのぞくことへ。素の Python と NumPy で、ブラウザの中で訓練します。自分の自動微分を書き、壊れた実行を診断し、主張を証拠で判断し、再生できるキャップストーンで締めくくります。無料、アカウントなし。
本物の Python と NumPy がこのタブで使えます。
インストールなし、アカウントなし、設定なし。このコースのネットワークはすべてあなた自身の端末で学習し、あなたが書いたものは外に出ません。モジュール 1 では必要な Python と NumPy をおさらいします。もう使いこなせますか?その最後のレッスンは先に受けられる短い関門で、合格するとすぐに先へ進めます。
毎日の復習
間隔反復で、学んだことが薄れないようにします。
モジュール 0:スタートライン
できるようになること:このコースの進め方と、何を測るかを言える。予測をして、実行と照らし合わせられる。4 つのダイヤルで出発点の点数を記録できる。自分の端末の速さを FLOP で測れる。
モジュール 1:このコースのための Python
できるようになること:リストと辞書の上の関数を書いて試せる。ループの代わりに NumPy の配列、形、切り出し、ブロードキャストを使える。ランダムさを再現できるようシードを付けられる。小さなクラスとクロージャを書ける。Python の関門で確かめます(もう慣れている? 先に受けてください:合格するとモジュールを飛ばせます)。
モジュール 2:数学と確率、必要なぶんだけ
できるようになること:内積、行列の掛け算、ブロードキャストを計算できる。少しずつ動かすことと連鎖律で、数についても行列全体についても傾きを見つけられる。散らばりがどう足し合わさるか、固有値が何をするかを説明できる。softmax の勾配を導ける。決してあふれない log-sum-exp、softmax、交差エントロピーを書ける(関門)。
モジュール 3:ニューロンから MLP へ
できるようになること:NumPy でニューロン、活性化、2 層のネットワークを作れる。誤差逆伝播を手で導き、勾配の確認の道具で確かめられる。数字を読む道具を 95% を超えるまで訓練できる。新しいデータセットのために自分のネットワークを作って訓練できる(関門)。
モジュール 4:自分の自動微分のエンジン
できるようになること:リバースモードの自動微分のエンジン(グラフ、トポロジカル順序、逆向きの規則、ブロードキャスト、縮約)を作れる。それを少しの動きと照らし合わせられる。手書きの勾配なしで、その上でネットワークを訓練できる。ひとりで新しい操作を加えられる(関門)。
モジュール 5:最適化
できるようになること:なぜ引き伸ばされた地形が遅いかを説明できる。ミニバッチの SGD、モメンタム、RMSProp、Adam と AdamW、スケジュール、クリッピングを作れる。見たことのない問題のために、予算のもとで最適化手法を選んで調整できる(関門)。
モジュール 6:始まりの重みと正規化
できるようになること:深さを通した信号を測り、Xavier、LeCun、He の縮尺を選べる。死んだユニットを見つけられる。BatchNorm の前向きと逆向き、LayerNorm、RMSNorm を作れる。訓練と評価の罠を避けられる。深いネットワークで近道を使える。
モジュール 7:新しいデータで働く
できるようになること:過学習と未学習、バイアスとバリアンスを測れる。重み減衰、ドロップアウト、データ拡張、早期終了を使える。二重降下と学習曲線を正直に読める。検証のデータでモデルを調整し、取っておいたデータで報告できる(関門)。
モジュール 8:訓練クリニック I
できるようになること:どんな訓練の実行にも最初の 2 つの確認をできる。ありそうな欠陥を分ける探りを選べる。予算のもとで、小さな変更で壊れた実行を診断して直せる(関門)。AI の助け手の診断を証拠で判断できる。
モジュール 9:本当に良いのか?
できるようになること:漏れなしでデータを分けられる。適合率と再現率を使える。シードの上の散らばりを測れる。点数にブートストラップの誤差の幅を付けられる。較正を測れる。対になった区間で 2 つのモデルを比べ、判断を下せる(関門)。
モジュール 10:見るネットワーク(CNN)
できるようになること:畳み込み、パディング、プーリングとその勾配、im2col を作れる。コースのエンジンで CNN を訓練できる。シードの上で記録した実行を読める。顕著性を基準と照らし合わせて試せる。転移を使える。重みの予算のもとで CNN を設計できる(関門)。
モジュール 11:記憶を持つネットワーク(RNN)
できるようになること:RNN と文字のモデルを作れる。時間をさかのぼる逆伝播を導ける。勾配の消失を測れる。LSTM のゲートを作れる。記録した記憶とボトルネックの実験を読める。温度でサンプリングできる。壊れた再帰型のモデルを直せる(関門)。
モジュール 12:数としての言葉(埋め込み)
できるようになること:埋め込みを引き当てとして扱える。組を併合するトークナイザーを作れる。数えることとスキップグラムで単語のベクトルを作れる。それらが写し取った偏りを測って取り除ける。見たことのない世界で、そのすべてをひとりでできる(関門)。
モジュール 13:アテンションとトランスフォーマー
できるようになること:アテンション、因果マスク、ヘッド、位置、層の正規化、そして本物のモデルと一致するブロック全体を作れる。アテンションの逆向きのたどりを導ける。小さな GPT を訓練できる。記録した実行を読める。キャッシュで生成できる。自分のエンジンを PyTorch に対応づけられる。壊れたトランスフォーマーを直せる(関門)。
モジュール 14:訓練クリニック II
できるようになること:見かけはすばらしいずる、停滞、歩幅、サンプリングの欠陥を含め、壊れた系列のモデルを診断できる。失敗した記録した実行を読める。AI の助手を証拠で判断できる。予算のもとでひとりで診断できる(関門)。出口の試験を基準の試験と比べられる。
モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)
できるようになること:数字をいくつかの数に押し込んで作り直せる。オートエンコーダーが新しい数字を作れない理由を、測定とともに言える。2 つの釣鐘曲線の間の KL と ELBO を計算できる。通して訓練できるやり方でサンプリングできる。新しい数字を作る VAE を訓練できる。数字の間を歩ける。崩壊した VAE をひとりで診断して直せる(関門)。
モジュール 16:ゲームをする 2 つのネットワーク(GAN、選択)
選択のモジュールで、修了証には要りません。できるようになること:GAN の損失を書き、その傾きから飽和するものがいつ停滞するかを言える。8 つの塊で GAN を訓練し、そのおおい方を判断できる。モード崩壊を起こせる。記録したシードの上で安定化の工夫を試し、何が助けになったかを報告できる。畳み込みの生成器を走らせられる。壊れた GAN をひとりで救える(関門)。
モジュール 17:ノイズを入れて、絵を出す(拡散)
できるようになること:予定表に従ってノイズを、一歩ずつ、そして一跳びで足せる。データへ戻るネットワークの矢印を読める。ノイズの予測器を訓練できる。DDPM でサンプリングし、きれいな推定がなぜ切り詰められるかを言える。ノイズの予定表と時間の入力を測定で比べられる。U-Net を作れる。DDIM でより少ない歩みでサンプリングできる。分類器なしのガイダンスで標本を導ける。訓練したモデルをファインチューニングできる。新しい形にひとりで合わせられる(関門)。
モジュール 18:ラベルなしで学ぶ
できるようになること:特徴を、最近傍の一致と自分で書く線形プローブで判断できる。マスク予測で事前訓練できる。InfoNCE を書き、それがなぜ交差エントロピーなのかを言える。SimCLR で事前訓練し、その拡張が何を決めるかを読める。説明文を絵に合わせられる(選択)。モデルが一度も見なかった物体で、ひとりで特徴を試せる(関門)。
モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)
できるようになること:訓練の実行の代価を FLOP で見積もれる。床とエラーバー付きでべき乗則を当てはめられる。重みとデータのどちらが実行を制限しているかを読める。決まった予算のもとで最良のモデルの大きさを計画できる。より大きな実行を予測して確かめられる。本物の跳躍と、指標が作り出す跳躍を見分けられる。ひとりで実行を計画できる(関門)。
モジュール 20:訓練したモデルを安く適応させる
できるようになること:破滅的忘却を示せる。LoRA を数え、作り、勾配を確かめられる。測定からそのランクを選べる。モデルを壊さずに自分の文章でファインチューニングできる。蒸留がいつ助けになるかを言える。重みを量子化し、その代価を予測できる。DPO で好みを調整し、間に合ううちに止められる。状況に合った手法を選べる。予算のもとでひとりで適応の目標を満たせる(関門)。
モジュール 21:モデルの中を見る
できるようになること:モデルの中身についての証拠が、パターンか、効果か、仕組みかを言える。対照付きでプローブを走らせられる。活性化をパッチして情報のある場所を見つけられる。部品を取り除き、予備を確かめられる。教科書の仕組みを目の前のモデルで試せる。おもちゃで重ね合わせを示せる。スパースオートエンコーダーを訓練し、見たことのない文章で特徴のラベルを試せる。記録した実行からグロッキングを読み、その波を取り除いて確かめられる。ひとりで新しい入力の上で情報のある場所を見つけられる(関門)。
モジュール 22:主張を判断する
できるようになること:重なりで漏れたテストの組を見つけ、きれいな点数を報告できる。平均の損失を大切な部分に沿って分けられる。0 と平均のアブレーションがどう違うかを言い、手法を報告できる。1 つのシードの差を、標準誤差で測った差と見分けられる。新しいシードで結果を再現し、それが成り立たなくなる設定を見つけられる。ひとりで主張を審査できる(関門)。
モジュール 23:仕上げのスタジオ:走らせられるモデルカード
できるようになること:FLOP の予算でプロジェクトを計画できる。基準の曲線を当て、シードの上で走らせられる。エラーバーで変更を判断できる。勾配の確認で、それでも訓練できてしまうバグを見つけられる。訓練していない対照と比べて、自分のモデルの中で発見をできる。隠した組でエラーバー付きで一度だけ評価できる。どの数も実行の記録と一致するモデルカードを書ける。実行が再生される、ひとつのオフラインのファイルを書き出せる。
モジュール 24:最終試験と再試験
できるようになること:AI オフで、パート 2 が教えたことを 4 つのダイヤルすべてで示せる(C 版)。スタートラインからパート 2 の終わりまでの自分のダイヤルを比べられる。1 か月後に何が残ったかを確かめられる(D 版、選択)。
これを印刷や保存できるのはあなただけです。リンクはこのブラウザに保存されています。誰かに見せるときは、証明書の検証リンクを共有してください。