Huấn luyện một GPT nhỏ xíu, trực tiếp
Vì sao điều này quan trọng Mọi thứ hợp lại: embedding, vị trí, multi-head attention có mặt nạ, residual và layer norm, huấn luyện bằng Adam trên việc dự đoán ký tự tiếp theo. Trên CPU của chính bạn, trong vài giây.
Độ rộng 32, 2 khối, 4 head, 32 ký tự ngữ cảnh: khoảng 29.000 tham số. 150 bước, mỗi bước 16 đoạn, vài giây trên một máy tính xách tay. Đoán đường cong: giá trị mất mát lúc đầu và sau 150 bước. (Một phỏng đoán đều trên 95 ký tự là ln 95 = 4.55.)
Rồi lấy mẫu từ nó. Sau 150 bước nó tạo ra món súp chữ cái với dấu cách ở gần đúng chỗ; mô hình độ rộng 64 đã ghi lại, huấn luyện 2.000 bước, viết ra văn bản có hình dạng từ. Cùng mã, nhiều tính toán hơn.
Từ và ký hiệu trong bài học này
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
- layer norm
- chuẩn hóa từng vector riêng: trung bình 0, độ phân tán 1, rồi nhân g cộng b
Điền my_guess, rồi huấn luyện bằng model.train (150 bước, tốc độ học 0.003, batch 16) trên corpus.TEXT và giữ lịch sử trong hist. Lời gọi là hist = model.train(text, steps=..., lr=..., batch=...); nó trả về một dictionary có hist['loss'] là giá trị mất mát huấn luyện được ghi mỗi 20 bước (và ở bước cuối), và model.generate(prompt, n, temperature) viết văn bản sau đó. (help(model.train) cũng in ra điều này.) Trung bình của 5 giá trị mất mát được ghi cuối cùng phải dưới 2.85.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.