Chương trình học Bài 32 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Độ phân tán cộng dồn ra sao, và một ma trận kéo giãn cái gì

Vì sao điều này quan trọng Hai sự thật quyết định việc một mạng sâu có huấn luyện được hay không: độ phân tán của một tổng tăng ra sao theo số số hạng (Mô-đun 6 đặt trọng số ban đầu theo nó), và một ma trận kéo giãn một vector bao nhiêu mỗi lần nó được áp dụng (các RNN của Mô-đun 11 áp dụng một ma trận lặp đi lặp lại).

Độ phân tán của một tổng

Cộng n con số độc lập, mỗi số có phương sai v. Các phương sai cộng lại: tổng có phương sai n v, nên độ phân tán của nó (độ lệch chuẩn) là sqrt(n v). Những con số nhỏ xíu: 100 đầu vào mỗi cái có độ phân tán 1 cho một tổng có độ phân tán 10, không phải 100 và không phải 1. Một nơ-ron cộng n đầu vào nhân trọng số, nên để giữ độ phân tán đầu ra gần 1, mỗi trọng số cần độ phân tán khoảng 1 / sqrt(n). Đó là ý tưởng đằng sau trọng số ban đầu của Mô-đun 6.

Một ma trận kéo giãn cái gì

Một số vector chỉ dài ra hay ngắn đi khi một ma trận A nhân chúng; hướng của chúng giữ nguyên. Một vector như vậy là một vector riêng và hệ số kéo giãn là trị riêng của nó. Nhân một vector với A hết lần này tới lần khác và hướng có trị riêng lớn nhất (về độ lớn) thắng: sau t bước độ dài tăng hay giảm như trị riêng đó mũ t. Vậy một độ lớn lớn nhất trên 1 thì bùng nổ, dưới 1 thì phai dần.

Những con số nhỏ xíu: A = [[0.5, 0], [0, 1.2]]. Các trị riêng của nó là 0.5 và 1.2. Sau 10 bước hướng thứ nhất đã co lại còn 0.510, khoảng 0.001, và hướng thứ hai đã tăng lên 1.210, khoảng 6.2.

Trị riêng (eigenvalue): một ma trận kéo giãn một hướng đặc biệt bao nhiêu. Bán kính phổ (spectral radius): trị riêng lớn nhất về độ lớn, thứ quyết định phép nhân lặp lại tăng hay phai.

Tóm tắt Các phương sai cộng lại, nên độ phân tán tăng như sqrt(n). Phép nhân lặp lại tăng như trị riêng lớn nhất mũ t.

Từ và ký hiệu trong bài học này
vector
một list các con số, mỗi số cho một đặc trưng
Đến lượt bạn

Ba bước:

  1. Viết sum_spread(n, sd, trials, seed): với rng = np.random.default_rng(seed), rút trials tổng của n số chuẩn có độ phân tán sd, và trả về độ phân tán (np.std) của các tổng đó.
  2. Gán predicted là độ phân tán mà quy tắc cho với n = 100, sd = 0.5 (sqrt(n) x sd).
  3. Viết growth_rate(A, steps=200): bắt đầu từ một vector toàn số một; steps lần, nhân với A và co giãn lại kết quả về độ dài 1; trả về độ dài mà vector có ngay trước lần co giãn cuối cùng. Ví dụ có lời giải: với A = [[0.5, 0], [0, 1.2]] câu trả lời là 1.2.

Vì sao bước 3 hoạt động: phép nhân lặp lại để lần kéo giãn lớn nhất thắng, nên độ dài sau một bước cuối cùng là trị riêng lớn nhất về độ lớn, được tìm ra mà không cần hàm trị riêng nào. (Phép kiểm tra dùng ma trận đối xứng, nơi điều này luôn đúng. Với một số ma trận khác hai trị riêng lớn nhất là một cặp số phức và độ dài dao động từ bước này sang bước khác; bạn sẽ không cần trường hợp đó.)

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.