Silabus Pelajaran 38 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Gate: matematikanya, dalam kode (AI off)

Kenapa ini penting Tiga bagian dari modul ini muncul kembali di setiap bagian selanjutnya: softmax yang tahan terhadap angka besar, gradien dari perkalian matriks, dan KL divergence. Sudah tahu matematika ini? Kamu bisa ambil gerbang ini dulu, sebelum pelajaran lainnya: melewatinya menandai modul ini selesai dan membuka modul berikutnya.

AI tutor off. Untuk softmax, gunakan trik shift: mengurangi skor terbesar dari setiap skor tidak mengubah apa pun di atas kertas, tapi menjaga setiap exp maksimal 1. Logits asli bisa besar, dan softmax yang mengembalikan nan pada input besar akan merusak proses training secara diam-diam.

Kata dan simbol di pelajaran ini
turunan (df/dx)
seberapa cepat output berubah per unit dorongan input
softmax
exp dari setiap skor dibagi total: skor menjadi probabilitas
cross-entropy
kurangi log dari probabilitas yang diberikan ke jawaban yang benar
KL(P || Q)
seberapa berbeda dua distribusi; nol hanya jika mereka cocok; urutan berpengaruh
Giliranku

Tulis, untuk array 2D dari logits (satu baris per contoh):

  • logsumexp(z): log dari jumlah exp di setiap baris, aman untuk nilai yang sangat besar.
  • stable_softmax(z): softmax di setiap baris, aman untuk nilai besar.
  • nll(z, labels): rata-rata cross-entropy yang dihitung langsung dari logits sebagai logsumexp - z[true], tidak pernah mengambil log dari softmax.
  • matmul_grads(X, W, G): untuk Y = X @ W dan loss yang gradien terhadap Y adalah G, kembalikan (dX, dW), gradien terhadap X dan W, tanpa membangun Jacobian apa pun.
  • kl_normal(m1, s1, m2, s2): divergensi KL dari kurva lonceng N(m1, s1) ke N(m2, s2), di mana s1 dan s2 adalah spread (simpangan baku).

Pengecekan menggunakan bentuk dan angka acak baru setiap saat, dan membandingkannya dengan nudging serta integral numerik.

AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Kode · berjalan di browser kamu
Output

        

Kemajuanmu dihitung secara anonim. Ubah ini