Chương trình học Bài 231 trên tổng số 246 · Mô-đun 22: Đánh giá các nhận định
Mô-đun 22: Đánh giá các nhận định

Cách bạn loại bỏ một phần thay đổi câu trả lời

Vì sao điều này quan trọng "Loại bỏ phần này làm giá trị mất mát tăng X" nghe như một sự thật về phần đó. Một phần của nó là sự thật về cách nó bị loại bỏ.

Ở Mô-đun 21 bạn đã loại bỏ các phần của GPT bằng cách đặt đầu ra của chúng về không. Nhưng phần còn lại của mạng chưa bao giờ thấy số không ở đó khi huấn luyện: số không có thể là một đầu vào nó chưa từng gặp, nên thiệt hại đo cả cú sốc lẫn việc mất thông tin. Một cách loại bỏ nhẹ nhàng hơn thay đầu ra bằng trung bình của nó trên nhiều đầu vào (cắt bỏ bằng trung bình): phần đó ngừng mang bất cứ thứ gì về đầu vào này, nhưng lớp tiếp theo vẫn nhận một giá trị có kích thước thông thường.

Hãy đo cả hai cho bốn phần: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Trung bình tới từ cache[site].mean((0, 1)).

Hãy dự đoán trước: với MLP của khối 0, cắt bỏ bằng trung bình sẽ tốn ít hơn đặt về không, hay xấp xỉ như nhau?

Từ và ký hiệu trong bài học này
cắt bỏ bằng trung bình
thay đầu ra của một phần bằng trung bình của nó thay vì bằng không
Đến lượt bạn

Gán my_guess là "less" hoặc "same". Điền zero[site] và mean[site] bằng mức tăng của giá trị mất mát. Gán most_overstated là phần mà việc đặt về không phóng đại hiệu ứng nhiều nhất.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.