Bộ máy của bạn, theo cách gọi của PyTorch
Vì sao điều này quan trọng Bạn sẽ gặp PyTorch (hoặc một framework khác) ngay ngày sau khóa học này. Mọi thứ bạn đã dựng đều ánh xạ sang nó; chỉ vài quy ước khác nhau, và chúng gây ra phần lớn lỗi khi người ta chuyển mã.
PyTorch không chạy được trong trình duyệt này, nên bài học này chuyển các array của khóa học sang bố cục của PyTorch bằng NumPy, và kiểm tra chính xác phép chuyển đổi.
| Thứ | Khóa học này | PyTorch |
|---|---|---|
| Trọng số tuyến tính | W là (n_in, n_out), đầu ra x @ W + b | weight là (out, in), đầu ra x @ weight.T + bias |
| Trọng số khởi đầu | phân phối chuẩn với độ phân tán sqrt(2 / n_in) (He) cho mọi lớp, bias 0 | mặc định của nn.Linear: phân phối đều trong khoảng ±1 / sqrt(n_in), bias cũng phân phối đều |
| Ảnh | kênh sau cùng, (N, H, W, C) | kênh trước, (N, C, H, W) |
| Trọng số tích chập | (k × k × C_in, C_out), các hàng xếp theo (hàng, cột, kênh) | (C_out, C_in, k, k) |
| Phương sai chạy của BatchNorm | phương sai batch chia cho n | phương sai không chệch, chia cho n - 1 (việc chuẩn hóa vẫn dùng n) |
| Xóa gradient | Adam.step() của khóa học tự xóa chúng | bạn gọi optimizer.zero_grad() mỗi bước |
Tensor nào giữ .grad | mọi nút của đồ thị | chỉ các tensor lá như trọng số, trừ khi bạn gọi retain_grad() |
| GELU | z * sigmoid(1.702 z), một phép xấp xỉ | dạng chính xác với erf theo mặc định; approximate='tanh' cho dạng nhanh |
| LSTM | một ma trận trọng số trên [x, h], bias quên khởi đầu ở 1 hoặc 3 | trọng số đầu vào và trọng số ẩn riêng với hai bias, tất cả khởi đầu nhỏ và ngẫu nhiên |
| Khối GPT nhỏ xíu | ReLU, không có bias trong các lớp tuyến tính: 12d² + 4d trọng số | GPT-2: GELU và bias: 12d² + 13d |
Không cái nào trong số này sai; chúng là các lựa chọn. Những cái lặng lẽ làm hỏng một lần chuyển mã là các bố cục: một trọng số Linear bị chuyển vị hoặc một ảnh kênh sau cùng cho ra con số sai mà không có lỗi nào khi kích thước tình cờ khớp.
Từ và ký hiệu trong bài học này
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Viết linear_to_torch(W, b) trả về (weight, bias) của PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) trả về trọng số (C_out, C_in, k, k), và unbiased(var, n) biến một phương sai đã chia cho n thành một phương sai chia cho n - 1. Bài kiểm tra được giấu chạy một phép tích chập kênh trước viết theo cách của PyTorch với các trọng số của bạn và so sánh nó với conv của khóa học.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.