Vì sao đi ngược lại rẻ (chế độ ngược)
Vì sao điều này quan trọng Một mạng có hàng triệu trọng số. Nếu mỗi gradient cần một lượt riêng, việc huấn luyện sẽ là bất khả. Đi ngược lại lấy được tất cả chúng với giá khoảng một lượt nữa.
Những con số nhỏ xíu
Lấy L = f3(f2(f1(x))) trong đó x có 3 con số và L là một con số. Đi xuôi bằng các lần đẩy, bạn đẩy một đầu vào, đẩy nó qua cả ba bước, và biết được một gradient. Ba đầu vào nghĩa là ba chuyến đi đầy đủ.
Đi ngược, bạn bắt đầu từ L, là một con số, và đẩy "L quan tâm tới cái này bao nhiêu?" ngược qua f3, rồi f2, rồi f1. Một chuyến cho gradient của mọi đầu vào cùng lúc.
Với 3 đầu vào bạn đi 1 chuyến thay vì 3. Với một triệu trọng số, 1 chuyến thay vì một triệu. Tuy vậy một chuyến ngược không miễn phí: nó tốn khoảng 2 tới 3 lượt xuôi, vì mỗi bước phải nhân với các độ dốc cục bộ của nó. Vậy trong công việc thật mức tiết kiệm là khoảng n / 3, với một triệu trọng số vẫn là khoảng 300.000 lần. Đó là lý do mọi thư viện học sâu đều đi ngược.
Chế độ ngược (reverse mode): tính gradient bằng cách quét từ đầu ra ngược về các đầu vào. Viên gạch của nó được gọi là tích vector-Jacobian; bài học tiếp theo tháo rời nó.
Tóm tắt Một đầu ra, nhiều đầu vào: hãy đi ngược.
Từ và ký hiệu trong bài học này
- vector
- một list các con số, mỗi số cho một đặc trưng
Điền số lượng phép toán cho một mạng có n trọng số và một giá trị mất mát. forward_trips(n): phương pháp đẩy-từng-đầu-vào cần bao nhiêu lượt đầy đủ (một lượt có đẩy cho mỗi trọng số; bỏ ra một lượt không đẩy mà bạn cũng sẽ chạy). backward_trips(n): chế độ ngược cần bao nhiêu lượt quét ngược. Rồi gán saving_for_a_million là tỉ lệ số chuyến (không phải số công việc) cho n = 1.000.000.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.