Lấy mẫu văn bản với nhiệt độ
Vì sao điều này quan trọng Mọi chatbot đều có một thiết lập "nhiệt độ". Nó là một phép chia, và nó đổi văn bản an toàn, lặp lại lấy văn bản đa dạng, mạo hiểm hơn.
Để chọn ký tự tiếp theo, một mô hình biến các điểm số của nó thành xác suất bằng softmax. Chia các điểm số cho một nhiệt độ T trước thay đổi độ nhọn của phân phối đó: T dưới 1 làm nó nhọn hơn (ứng viên được ưa thích thắng thường xuyên hơn), T trên 1 làm nó phẳng hơn (bất ngờ trở nên dễ xảy ra).
Entropy, trừ tổng của p log p, đo một phân phối trải rộng tới đâu: 0 khi một lựa chọn là chắc chắn, ln(n) khi cả n lựa chọn có khả năng như nhau.
Bạn sẽ đo nó trên một mô hình thật đã ghi lại: GPT nhỏ xíu của khóa học được huấn luyện trên chính văn bản bài học của nó.
Từ và ký hiệu trong bài học này
- nhiệt độ
- chia các điểm số trước softmax: dưới 1 thì nhọn hơn, trên 1 thì phẳng hơn
- entropy
- một phân phối trải rộng tới đâu: 0 khi chắc chắn, ln(n) khi cả n lựa chọn bằng nhau
Gán my_order là các nhiệt độ 0.5, 1.0 và 2.0 sắp xếp từ entropy thấp nhất tới cao nhất (dự đoán của bạn). Rồi viết entropy_at(scores, T) cho một hàng điểm số, và điền measured với entropy trung bình của phân phối ký tự tiếp theo của mô hình trên các ngữ cảnh cho sẵn, cho mỗi nhiệt độ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.