Grokking: ghi nhớ trước, hiểu sau
Vì sao điều này quan trọng Power và cộng sự (2022) đã thấy một mạng đạt độ chính xác huấn luyện hoàn hảo, nằm ở mức đoán mò trên dữ liệu kiểm tra một thời gian dài, rồi đột nhiên tổng quát hóa. Đó là trường hợp rõ ràng nhất mà việc nhìn vào bên trong giải thích được điều đường cong giá trị mất mát không thể.
Nhiệm vụ: a + b modulo 23 (số dư sau khi chia cho 23; nên 20 + 5 là 2). Có 23 x 23 = 529 tổng; mô hình huấn luyện trên một nửa ngẫu nhiên và được kiểm tra trên nửa còn lại. Mỗi số có một embedding 32; hai embedding đi qua một lớp ReLU 128 và ra 23 điểm số. Nó huấn luyện trên toàn bộ nửa đó ở mỗi bước, bằng AdamW (Mô-đun 5).
Huấn luyện trực tiếp nó 1.500 bước, rồi đọc các lần chạy 40.000 bước đã ghi lại của khóa học (khoảng 11 giây mỗi lần trên máy tính xách tay, quá lâu cho một bài học), với weight decay 3 và không có.
Hãy dự đoán trước: sau 1.500 bước, độ chính xác huấn luyện sẽ là 100%. Độ chính xác kiểm tra sẽ là bao nhiêu?
Từ và ký hiệu trong bài học này
- grokking
- độ chính xác kiểm tra tăng rất lâu sau khi độ chính xác huấn luyện đã hoàn hảo
Gán my_guess là "near 0", "near 50%" hoặc "near 100%". Huấn luyện 1.500 bước và điền live với (độ chính xác huấn luyện, độ chính xác kiểm tra). Từ runs = interp.recorded()['grok'], 'curve' của mỗi lần chạy có các hàng (bước, độ chính xác huấn luyện, độ chính xác kiểm tra, tỷ lệ top 3): gán half_way là bước đầu tiên mà độ chính xác kiểm tra đạt 0.5 với weight decay 3, và final_test là độ chính xác kiểm tra cuối cùng của mỗi lần chạy.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.