Ablation: ba thay đổi, mỗi thay đổi ba seed
Vì sao điều này quan trọng "Thay đổi này đã giúp" là nhận định phổ biến nhất trong mọi báo cáo dự án, và là nhận định thường được đưa ra nhất từ một lần chạy duy nhất. Quy tắc của Mô-đun 22 quyết định nó ở đây, trên các lần chạy của bạn.
Chọn ba thay đổi cho đường cơ sở của bạn, mỗi thay đổi đổi đúng một thiết lập (width, lr, steps, batch hoặc weight_decay). Chạy mỗi cái với seed 0, 1 và 2, và chạy lại đường cơ sở với cùng các seed (trong nhật ký của bài học này, để mọi con số ở một chỗ). Dùng evals=1: chỉ cần điểm cuối cùng.
Với mỗi thay đổi: diff = điểm trung bình của thay đổi trừ điểm trung bình của đường cơ sở (cao hơn là tốt hơn), và se = judge.standard_error(baseline, change). Phán quyết: "better" nếu diff > 2 se, "worse" nếu diff < -2 se, còn lại là "not shown".
Tổng phải vừa ngân sách của bạn: một thay đổi tốn hơn (rộng hơn, nhiều bước hơn) dùng nhiều ngân sách hơn.
Từ và ký hiệu trong bài học này
- đường cơ sở
- lần chạy thông thường mà mọi thay đổi được đo so với nó, trên cùng các seed
- cắt bỏ (ablation)
- một thay đổi cho đường cơ sở, chạy trên vài seed, để xem nó làm gì
Gán CHANGES (ba thay đổi, mỗi cái một thiết lập). Điền log với 12 lần chạy và verdict[name] cho mỗi thay đổi. In ra các trung bình và 2 se.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.