Chương trình học Bài 93 trên tổng số 250 · Những mô hình học máy đầu tiên của bạn
Những mô hình học máy đầu tiên của bạn

Hồi quy trên dữ liệu nhiễu

Ở một bài trước bạn fit một đường thẳng vào dữ liệu là một đường thẳng hoàn hảo (y = 2x) và sai số ra bằng không. Cảm giác thật tuyệt, nhưng theo một nghĩa nào đó đó là một lời nói dối: dữ liệu thật không bao giờ là một đường thẳng sạch. Cảm biến dao động, con người hành xử khó đoán, phép đo bị làm tròn. Phiên bản trung thực của hồi quy là fit một đường thẳng qua một đám mây điểm chỉ đi theo xu hướng một cách đại khái, rồi báo cáo bạn vẫn còn lệch bao xa. Bài này nói về việc đọc các con số sai số đó mà không chùn bước.

Tạo dữ liệu thực tế

Ta bắt đầu từ một quan hệ thật, y = 3x + 7, rồi thêm nhiễu gauss -> những dao động ngẫu nhiên nhỏ rút ra từ một đường cong hình chuông -> để không điểm nào nằm chính xác trên đường thẳng:

rng = np.random.RandomState(42)
x = np.linspace(0, 10, 200)
noise = rng.normal(0, 2.0, size=x.shape)   # mean 0, spread 2.0
y = 3 * x + 7 + noise
X = x.reshape(-1, 1)                        # sklearn wants 2-D features

Seed cố định nghĩa là ai cũng rút ra cùng một nhiễu, nên các con số bên dưới tái lập và kiểm tra được. Mô hình không bao giờ thấy độ dốc thật 3 hay hệ số chặn 7; việc của nó là khôi phục chúng từ các điểm nhiễu.

Fit, dự đoán, và đo trung thực

Cùng nghi thức như mọi khi, nhưng ta chấm điểm trên một tập kiểm tra được giữ lại:

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, r2_score

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0)
model = LinearRegression().fit(X_train, y_train)
preds = model.predict(X_test)
mae = mean_absolute_error(y_test, preds)
r2  = r2_score(y_test, preds)

Các con số có nghĩa gì

  • Đường thẳng được khôi phục. model.coef_[0] ra gần 3 và model.intercept_ gần 7. Mô hình đã đào được xu hướng thật từ dưới lớp nhiễu, nhưng không hoàn hảo: nó rơi gần, không chính xác.
  • MAE không còn bằng không. Ở đây nó khoảng 1.8, nghĩa là một dự đoán điển hình lệch giá trị thật khoảng 1.8 theo đơn vị của y. Đó không phải lỗi. Với nhiễu có độ trải 2.0 được đưa vào, một chút sai số là không tránh được -> một MAE dương là cái giá trung thực của dữ liệu thật. Đối chiếu với đường thẳng hoàn hảo trước đó, nơi MAE khoảng 0 do cách xây dựng.
  • R bình phương nằm dưới 1. r2_score đo tỷ lệ biến thiên mà mô hình giải thích được: 1.0 là hoàn hảo, 0 là không hơn gì đoán giá trị trung bình. Ở đây nó khoảng 0.95 -> cao, vì có một tín hiệu tuyến tính mạnh, nhưng chặt chẽ dưới 1.0, vì nhiễu không bao giờ giải thích hết được. Một R bình phương báo cáo đúng bằng 1.0 trên dữ liệu thật là một cờ đỏ, thường là dấu hiệu bạn vô tình kiểm tra trên dữ liệu huấn luyện.
  • Phần dư cho bạn biết phần lệch có công bằng không. Một phần dư là actual - predicted cho một điểm. Trung bình của chúng nên nằm gần 0: điều đó nói rằng mô hình không lệch có hệ thống lên trên hay xuống dưới, mà chỉ rải phía trên và phía dưới đường thẳng như nhiễu đối xứng nên làm. Một trung bình phần dư xa 0 nghĩa là một mô hình bị thiên lệch.

Vậy sản phẩm ở đây là một tập con số trung thực, không phải một số không thần kỳ. Nhấn Chạy để fit đường thẳng và in ra độ dốc đã khôi phục, MAE, R bình phương, và trung bình phần dư.

Đến lượt bạn

Tạo dữ liệu nhiễu từ y = 3x + 7 cộng nhiễu gauss (rng = np.random.RandomState(42), x = np.linspace(0, 10, 200), noise = rng.normal(0, 2.0, size=x.shape), X = x.reshape(-1, 1)). Chia bằng train_test_split(X, y, test_size=0.2, random_state=0), fit một LinearRegression làm model, dự đoán trên tập kiểm tra, rồi lưu mae (sai số tuyệt đối trung bình), r2 (r2_score), và resid_mean (trung bình của y_test - preds) dưới dạng float.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.