すべてのコース 無料 · アカウント不要 · ブラウザで

ニューラルネットワーク:ニューロンから Transformer まで

ニューロン 1 つから Transformer まで、ニューラルネットワークを自分で作り、それから生成モデル、拡散、スケーリング則、モデルの中をのぞくことへ。素の Python と NumPy で、ブラウザの中で訓練します。自分の自動微分を書き、壊れた実行を診断し、主張を証拠で判断し、再生できるキャップストーンで締めくくります。無料、アカウントなし。

25 モジュール 246 レッスン 自動採点の演習 246 問 自分のペースで · 教材は約 143 時間分 ブラウザで学習、GPU 不要曲線を予測してから実行する
あなたの進捗 演習 246 問中 0 問完了
1 日の目標
モジュール 1 · 60 分

モジュール 0:スタートライン

できるようになること:このコースの進め方と、何を測るかを言える。予測をして、実行と照らし合わせられる。4 つのダイヤルで出発点の点数を記録できる。自分の端末の速さを FLOP で測れる。

モジュール 2 · 約 8 時間

モジュール 1:このコースのための Python

できるようになること:リストと辞書の上の関数を書いて試せる。ループの代わりに NumPy の配列、形、切り出し、ブロードキャストを使える。ランダムさを再現できるようシードを付けられる。小さなクラスとクロージャを書ける。Python の関門で確かめます(もう慣れている? 先に受けてください:合格するとモジュールを飛ばせます)。

7 区間中 1 区間目 · ネットワークの層 スタートライン この区間の演習 5 問すべてに合格すると、その層を獲得できます。
モジュール 3 · 約 7 時間

モジュール 2:数学と確率、必要なぶんだけ

できるようになること:内積、行列の掛け算、ブロードキャストを計算できる。少しずつ動かすことと連鎖律で、数についても行列全体についても傾きを見つけられる。散らばりがどう足し合わさるか、固有値が何をするかを説明できる。softmax の勾配を導ける。決してあふれない log-sum-exp、softmax、交差エントロピーを書ける(関門)。

7 区間中 2 区間目 · ネットワークの層 基礎 この区間の演習 3 問すべてに合格すると、その層を獲得できます。
モジュール 8 · 約 4 時間

モジュール 7:新しいデータで働く

できるようになること:過学習と未学習、バイアスとバリアンスを測れる。重み減衰、ドロップアウト、データ拡張、早期終了を使える。二重降下と学習曲線を正直に読める。検証のデータでモデルを調整し、取っておいたデータで報告できる(関門)。

モジュール 9 · 約 4 時間

モジュール 8:訓練クリニック I

できるようになること:どんな訓練の実行にも最初の 2 つの確認をできる。ありそうな欠陥を分ける探りを選べる。予算のもとで、小さな変更で壊れた実行を診断して直せる(関門)。AI の助け手の診断を証拠で判断できる。

7 区間中 3 区間目 · ネットワークの層 訓練をうまくいかせる この区間の演習 40 問すべてに合格すると、その層を獲得できます。
モジュール 11 · 約 10 時間

モジュール 10:見るネットワーク(CNN)

できるようになること:畳み込み、パディング、プーリングとその勾配、im2col を作れる。コースのエンジンで CNN を訓練できる。シードの上で記録した実行を読める。顕著性を基準と照らし合わせて試せる。転移を使える。重みの予算のもとで CNN を設計できる(関門)。

モジュール 12 · 約 4 時間

モジュール 11:記憶を持つネットワーク(RNN)

できるようになること:RNN と文字のモデルを作れる。時間をさかのぼる逆伝播を導ける。勾配の消失を測れる。LSTM のゲートを作れる。記録した記憶とボトルネックの実験を読める。温度でサンプリングできる。壊れた再帰型のモデルを直せる(関門)。

モジュール 13 · 約 6 時間

モジュール 12:数としての言葉(埋め込み)

できるようになること:埋め込みを引き当てとして扱える。組を併合するトークナイザーを作れる。数えることとスキップグラムで単語のベクトルを作れる。それらが写し取った偏りを測って取り除ける。見たことのない世界で、そのすべてをひとりでできる(関門)。

モジュール 14 · 約 10 時間

モジュール 13:アテンションとトランスフォーマー

できるようになること:アテンション、因果マスク、ヘッド、位置、層の正規化、そして本物のモデルと一致するブロック全体を作れる。アテンションの逆向きのたどりを導ける。小さな GPT を訓練できる。記録した実行を読める。キャッシュで生成できる。自分のエンジンを PyTorch に対応づけられる。壊れたトランスフォーマーを直せる(関門)。

モジュール 15 · 約 4 時間

モジュール 14:訓練クリニック II

できるようになること:見かけはすばらしいずる、停滞、歩幅、サンプリングの欠陥を含め、壊れた系列のモデルを診断できる。失敗した記録した実行を読める。AI の助手を証拠で判断できる。予算のもとでひとりで診断できる(関門)。出口の試験を基準の試験と比べられる。

7 区間中 4 区間目 · ネットワークの層 構造のためのアーキテクチャ この区間の演習 56 問すべてに合格すると、その層を獲得できます。
モジュール 16 · 約 5 時間

モジュール 15:押し込み、作り直し、生成する(オートエンコーダーと VAE)

できるようになること:数字をいくつかの数に押し込んで作り直せる。オートエンコーダーが新しい数字を作れない理由を、測定とともに言える。2 つの釣鐘曲線の間の KL と ELBO を計算できる。通して訓練できるやり方でサンプリングできる。新しい数字を作る VAE を訓練できる。数字の間を歩ける。崩壊した VAE をひとりで診断して直せる(関門)。

モジュール 17 · 約 4 時間

モジュール 16:ゲームをする 2 つのネットワーク(GAN、選択)

選択のモジュールで、修了証には要りません。できるようになること:GAN の損失を書き、その傾きから飽和するものがいつ停滞するかを言える。8 つの塊で GAN を訓練し、そのおおい方を判断できる。モード崩壊を起こせる。記録したシードの上で安定化の工夫を試し、何が助けになったかを報告できる。畳み込みの生成器を走らせられる。壊れた GAN をひとりで救える(関門)。

モジュール 18 · 約 8 時間

モジュール 17:ノイズを入れて、絵を出す(拡散)

できるようになること:予定表に従ってノイズを、一歩ずつ、そして一跳びで足せる。データへ戻るネットワークの矢印を読める。ノイズの予測器を訓練できる。DDPM でサンプリングし、きれいな推定がなぜ切り詰められるかを言える。ノイズの予定表と時間の入力を測定で比べられる。U-Net を作れる。DDIM でより少ない歩みでサンプリングできる。分類器なしのガイダンスで標本を導ける。訓練したモデルをファインチューニングできる。新しい形にひとりで合わせられる(関門)。

モジュール 19 · 約 6 時間

モジュール 18:ラベルなしで学ぶ

できるようになること:特徴を、最近傍の一致と自分で書く線形プローブで判断できる。マスク予測で事前訓練できる。InfoNCE を書き、それがなぜ交差エントロピーなのかを言える。SimCLR で事前訓練し、その拡張が何を決めるかを読める。説明文を絵に合わせられる(選択)。モデルが一度も見なかった物体で、ひとりで特徴を試せる(関門)。

7 区間中 5 区間目 · ネットワークの層 ものを作るネットワーク この区間の演習 26 問すべてに合格すると、その層を獲得できます。
モジュール 20 · 約 5 時間

モジュール 19:より大きく、そしてどれだけ良く(スケーリング則)

できるようになること:訓練の実行の代価を FLOP で見積もれる。床とエラーバー付きでべき乗則を当てはめられる。重みとデータのどちらが実行を制限しているかを読める。決まった予算のもとで最良のモデルの大きさを計画できる。より大きな実行を予測して確かめられる。本物の跳躍と、指標が作り出す跳躍を見分けられる。ひとりで実行を計画できる(関門)。

モジュール 21 · 約 5 時間

モジュール 20:訓練したモデルを安く適応させる

できるようになること:破滅的忘却を示せる。LoRA を数え、作り、勾配を確かめられる。測定からそのランクを選べる。モデルを壊さずに自分の文章でファインチューニングできる。蒸留がいつ助けになるかを言える。重みを量子化し、その代価を予測できる。DPO で好みを調整し、間に合ううちに止められる。状況に合った手法を選べる。予算のもとでひとりで適応の目標を満たせる(関門)。

モジュール 22 · 約 8 時間

モジュール 21:モデルの中を見る

できるようになること:モデルの中身についての証拠が、パターンか、効果か、仕組みかを言える。対照付きでプローブを走らせられる。活性化をパッチして情報のある場所を見つけられる。部品を取り除き、予備を確かめられる。教科書の仕組みを目の前のモデルで試せる。おもちゃで重ね合わせを示せる。スパースオートエンコーダーを訓練し、見たことのない文章で特徴のラベルを試せる。記録した実行からグロッキングを読み、その波を取り除いて確かめられる。ひとりで新しい入力の上で情報のある場所を見つけられる(関門)。

モジュール 23 · 約 5 時間

モジュール 22:主張を判断する

できるようになること:重なりで漏れたテストの組を見つけ、きれいな点数を報告できる。平均の損失を大切な部分に沿って分けられる。0 と平均のアブレーションがどう違うかを言い、手法を報告できる。1 つのシードの差を、標準誤差で測った差と見分けられる。新しいシードで結果を再現し、それが成り立たなくなる設定を見つけられる。ひとりで主張を審査できる(関門)。

7 区間中 6 区間目 · ネットワークの層 規模を広げ、理解する この区間の演習 36 問すべてに合格すると、その層を獲得できます。
モジュール 24 · 約 7 時間

モジュール 23:仕上げのスタジオ:走らせられるモデルカード

できるようになること:FLOP の予算でプロジェクトを計画できる。基準の曲線を当て、シードの上で走らせられる。エラーバーで変更を判断できる。勾配の確認で、それでも訓練できてしまうバグを見つけられる。訓練していない対照と比べて、自分のモデルの中で発見をできる。隠した組でエラーバー付きで一度だけ評価できる。どの数も実行の記録と一致するモデルカードを書ける。実行が再生される、ひとつのオフラインのファイルを書き出せる。

モジュール 25 · 50 分

モジュール 24:最終試験と再試験

できるようになること:AI オフで、パート 2 が教えたことを 4 つのダイヤルすべてで示せる(C 版)。スタートラインからパート 2 の終わりまでの自分のダイヤルを比べられる。1 か月後に何が残ったかを確かめられる(D 版、選択)。

7 区間中 7 区間目 · ネットワークの層 キャップストーンと証明 この区間の演習 10 問すべてに合格すると、その層を獲得できます。