Chương trình học Bài 157 trên tổng số 246 · Mô-đun 13: Attention và transformer
Mô-đun 13: Attention và transformer

Bộ máy của bạn, theo cách gọi của PyTorch

Vì sao điều này quan trọng Bạn sẽ gặp PyTorch (hoặc một framework khác) ngay ngày sau khóa học này. Mọi thứ bạn đã dựng đều ánh xạ sang nó; chỉ vài quy ước khác nhau, và chúng gây ra phần lớn lỗi khi người ta chuyển mã.

PyTorch không chạy được trong trình duyệt này, nên bài học này chuyển các array của khóa học sang bố cục của PyTorch bằng NumPy, và kiểm tra chính xác phép chuyển đổi.

ThứKhóa học nàyPyTorch
Trọng số tuyến tínhW là (n_in, n_out), đầu ra x @ W + bweight là (out, in), đầu ra x @ weight.T + bias
Trọng số khởi đầuphân phối chuẩn với độ phân tán sqrt(2 / n_in) (He) cho mọi lớp, bias 0mặc định của nn.Linear: phân phối đều trong khoảng ±1 / sqrt(n_in), bias cũng phân phối đều
Ảnhkênh sau cùng, (N, H, W, C)kênh trước, (N, C, H, W)
Trọng số tích chập(k × k × C_in, C_out), các hàng xếp theo (hàng, cột, kênh)(C_out, C_in, k, k)
Phương sai chạy của BatchNormphương sai batch chia cho nphương sai không chệch, chia cho n - 1 (việc chuẩn hóa vẫn dùng n)
Xóa gradientAdam.step() của khóa học tự xóa chúngbạn gọi optimizer.zero_grad() mỗi bước
Tensor nào giữ .gradmọi nút của đồ thịchỉ các tensor lá như trọng số, trừ khi bạn gọi retain_grad()
GELUz * sigmoid(1.702 z), một phép xấp xỉdạng chính xác với erf theo mặc định; approximate='tanh' cho dạng nhanh
LSTMmột ma trận trọng số trên [x, h], bias quên khởi đầu ở 1 hoặc 3trọng số đầu vào và trọng số ẩn riêng với hai bias, tất cả khởi đầu nhỏ và ngẫu nhiên
Khối GPT nhỏ xíuReLU, không có bias trong các lớp tuyến tính: 12d² + 4d trọng sốGPT-2: GELU và bias: 12d² + 13d

Không cái nào trong số này sai; chúng là các lựa chọn. Những cái lặng lẽ làm hỏng một lần chuyển mã là các bố cục: một trọng số Linear bị chuyển vị hoặc một ảnh kênh sau cùng cho ra con số sai mà không có lỗi nào khi kích thước tình cờ khớp.

Từ và ký hiệu trong bài học này
head
một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
Đến lượt bạn

Viết linear_to_torch(W, b) trả về (weight, bias) của PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) trả về trọng số (C_out, C_in, k, k), và unbiased(var, n) biến một phương sai đã chia cho n thành một phương sai chia cho n - 1. Bài kiểm tra được giấu chạy một phép tích chập kênh trước viết theo cách của PyTorch với các trọng số của bạn và so sánh nó với conv của khóa học.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.