Công thức, cho các mô hình chuỗi
Vì sao điều này quan trọng Hai phép kiểm tra của Mô-đun 8 (giá trị mất mát lúc bắt đầu, học thuộc một batch) vẫn áp dụng. Các mô hình chuỗi thêm những cách mới để thất bại âm thầm, và hai phép kiểm tra rẻ bắt được những cái tệ nhất trước khi bạn tốn bất kỳ tài nguyên tính toán nào.
Mô hình của phòng khám là một GPT nhỏ xíu: độ rộng 16, 2 khối, 2 đầu, ngữ cảnh 16 ký tự, 200 bước Adam trên văn bản của khóa học. Nó huấn luyện trong vài giây, nên bạn có thể thoải mái dò.
Phép kiểm tra 1: giá trị mất mát ban đầu
Một mô hình mới với trọng số nhỏ trải đều các phỏng đoán của nó trên V ký tự, nên giá trị mất mát của nó là ln(V). Với 95 ký tự đó là 4.55. Cao hơn nhiều nghĩa là có thứ gì đó bị co giãn sai; thấp hơn nhiều nghĩa là mô hình đang nhận được sự trợ giúp mà nó không nên có.
Phép kiểm tra 2: không nhìn trộm
Thay đổi ký tự cuối cùng của một đầu vào. Nếu bất kỳ dự đoán nào cho một vị trí phía trước thay đổi, mô hình có thể nhìn thấy tương lai (Mô-đun 13), và mọi con số huấn luyện bạn có đều tốt tới mức khó tin.
| Đầu dò | Nó cho bạn biết gì | Lần chạy lành mạnh |
|---|---|---|
loss_curve(c) | Giá trị mất mát huấn luyện mỗi 25 bước, và giá trị mất mát trên văn bản chưa thấy ở cuối. Luôn nhìn cái này trước. | 4.55 giảm xuống khoảng 2.9; chưa thấy khoảng 3.0 |
loss_at_init(c) | Giá trị mất mát trước khi huấn luyện. Một mô hình mới đoán đều trên 95 ký tự cho ln(95). | 4.55 |
leak_check(c) | Một ký tự phía sau có thể thay đổi một dự đoán phía trước không? | False |
show_batch(c) | Một đầu vào huấn luyện và mục tiêu của nó, dưới dạng văn bản. | mục tiêu = đầu vào dịch sang trái một ký tự |
update_ratio(c) | Sau bước Adam đầu tiên, các trọng số đã dịch bao xa so với kích thước của chúng. Không phải quy tắc của Mô-đun 8: khoảng 0.001 tới 0.1 đó là cho các bước SGD thuần. Bước đầu tiên của Adam dịch mọi trọng số khoảng bằng tốc độ học dù gradient của nó là gì, và các trọng số này bắt đầu gần 0.02, nên 0.01 / 0.02 cho khoảng 0.5. Hãy so sánh một trường hợp với lần chạy lành mạnh này, không phải với khoảng của Mô-đun 8. | khoảng 0.5 |
block_change(c) | Khối đầu tiên thay đổi mỗi vector bao nhiêu lúc bắt đầu. | khoảng 0.3 |
Từ và ký hiệu trong bài học này
- ln(V)
- giá trị mất mát ban đầu của một mô hình đoán đều trên V ký hiệu: 4.55 với 95 ký tự
- tốt tới mức khó tin
- mất mát huấn luyện tốt hơn nhiều so với một lần chạy lành mạnh, mất mát trên văn bản chưa thấy tệ hơn nhiều
- block change
- một khối thay đổi một vector bao nhiêu lúc bắt đầu; gần 1 nghĩa là nó đã thay thế vector đó
Viết expected_start(V) và my_leak_check(c), dùng chính _init, _logits và DATA của phòng khám. Chúng phải đồng ý với các đầu dò của phòng khám.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.