Những lớp tự giữ trọng số của mình
Vì sao điều này quan trọng Các mạng thật có nhiều lớp. Mỗi lớp nên sở hữu trọng số của nó và có thể liệt kê chúng, để mã huấn luyện không bao giờ cần biết bên trong có gì.
Một lớp Linear giữ W và b dưới dạng Tensor và tính x @ W + b. Một MLP giữ một list các lớp Linear với ReLU ở giữa chúng. Cả hai đều có parameters(), một list các Tensor trọng số của chúng.
Vì sao phải đặt gradient về không
Lượt ngược của bạn cộng vào mỗi grad. Điều đó đúng trong một lượt, nhưng giữa các bước gradient cũ vẫn còn nằm đó. Quên xóa nó và mỗi bước dùng tổng của mọi gradient trước đó: việc huấn luyện trôi dạt rồi bùng nổ. Vậy mỗi bước là: đặt grad về không, xuôi, ngược, bước.
Tham số (parameter): một trọng số mà việc huấn luyện thay đổi. zero_grad: đặt lại grad của mọi tham số về không trước lượt ngược tiếp theo.
Khởi tạo trọng số với độ phân tán sqrt(2 / inputs), điều này giữ các tín hiệu ở kích thước hợp lý qua các lớp ReLU. Mô-đun 6 giải thích vì sao.
Từ và ký hiệu trong bài học này
- Tensor
- ở đây: một mảng cộng gradient của nó cộng các Tensor mà nó được tạo ra từ đó
- unbroadcast
- cộng một gradient trở lại xuống shape mà nó đã được kéo giãn từ đó
- zero_grad
- đặt lại các gradient trước bước tiếp theo, vì lượt ngược cộng dồn vào chúng
Viết Linear, MLP, zero_grad(params) và sgd_step(params, lr) như được mô tả. MLP([64, 32, 10], rng) tạo hai lớp Linear với một ReLU ở giữa và không có cái nào sau lớp cuối.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.