Chương trình học Bài 87 trên tổng số 246 · Mô-đun 7: Làm việc trên dữ liệu mới
Mô-đun 7: Làm việc trên dữ liệu mới

Độ chệch và phương sai, và suy giảm trọng số như một tiên nghiệm

Vì sao điều này quan trọng Quá khớp lộ ra dưới dạng một khoảng cách: sai số huấn luyện thấp hơn nhiều so với sai số trên dữ liệu mới. Hai nguyên nhân đo được nằm sau mọi khoảng cách như vậy, và chúng cần những cách chữa khác nhau.

Rút năm tập huấn luyện mới từ cùng một nguồn và khớp cùng một loại mô hình với mỗi tập. Hãy nhìn năm dự đoán tại một điểm:

  • Nếu chúng đều đồng ý nhưng đều sai theo cùng một cách: độ chệch cao (quá đơn giản).
  • Nếu chúng bất đồng dữ dội với nhau: phương sai cao (quá linh hoạt, đuổi theo nhiễu của mỗi tập).

Phương sai là mô hình thay đổi bao nhiêu khi dữ liệu huấn luyện thay đổi. Phương sai cao là nguyên nhân thông thường của quá khớp, nhưng hai từ này không phải là một: quá khớp là khoảng cách bạn thấy, phương sai là một thứ bạn có thể đo đằng sau nó.

Suy giảm trọng số như một tiên nghiệm

Suy giảm trọng số cộng alpha * (sum of weights squared) vào giá trị mất mát. Theo ngôn ngữ xác suất, nó nói, trước khi thấy dữ liệu, "tôi tin các trọng số nhỏ có khả năng hơn". Niềm tin đó kéo những phép khớp hoang dại về phía những phép khớp điềm tĩnh và hạ phương sai, đổi lại một chút độ chệch. Với việc khớp đa thức nó có một lời giải chính xác gọi là hồi quy ridge: w = solve(A.T A + alpha I, A.T y), trong đó A giữ các lũy thừa của x.

Tiên nghiệm (prior): những gì bạn tin về các trọng số trước khi thấy dữ liệu. Suy giảm trọng số là một tiên nghiệm ưu ái các trọng số nhỏ.

Từ và ký hiệu trong bài học này
quá khớp, chưa khớp
khớp theo nhiễu trong dữ liệu huấn luyện; hoặc quá đơn giản để khớp với khuôn mẫu
độ chệch, phương sai
sai theo cùng một cách mọi lần; hoặc thay đổi nhiều theo dữ liệu huấn luyện
tiên nghiệm (prior)
những gì bạn tin về các trọng số trước khi thấy dữ liệu
ridge (alpha)
bình phương tối thiểu với suy giảm trọng số cường độ alpha
Đến lượt bạn

Viết ridge_poly(x, y, deg, alpha) trả về các hệ số (lũy thừa thấp nhất trước, dùng công thức ở trên), và spread_at_half(deg, alpha): khớp năm tập huấn luyện (seed 0 tới 4, mỗi tập 20 điểm, tạo bằng make_set) và trả về độ lệch chuẩn của năm dự đoán tại x = 0.5. Rồi gán high_variance là bậc nào trong 1, 3 hay 12 (alpha 0) có độ phân tán lớn nhất.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.