Chương trình học Bài 131 trên tổng số 246 · Mô-đun 11: Những mạng có bộ nhớ (RNN)
Mô-đun 11: Những mạng có bộ nhớ (RNN)

Lấy mẫu văn bản với nhiệt độ

Vì sao điều này quan trọng Mọi chatbot đều có một thiết lập "nhiệt độ". Nó là một phép chia, và nó đổi văn bản an toàn, lặp lại lấy văn bản đa dạng, mạo hiểm hơn.

Để chọn ký tự tiếp theo, một mô hình biến các điểm số của nó thành xác suất bằng softmax. Chia các điểm số cho một nhiệt độ T trước thay đổi độ nhọn của phân phối đó: T dưới 1 làm nó nhọn hơn (ứng viên được ưa thích thắng thường xuyên hơn), T trên 1 làm nó phẳng hơn (bất ngờ trở nên dễ xảy ra).

Entropy, trừ tổng của p log p, đo một phân phối trải rộng tới đâu: 0 khi một lựa chọn là chắc chắn, ln(n) khi cả n lựa chọn có khả năng như nhau.

Bạn sẽ đo nó trên một mô hình thật đã ghi lại: GPT nhỏ xíu của khóa học được huấn luyện trên chính văn bản bài học của nó.

Từ và ký hiệu trong bài học này
nhiệt độ
chia các điểm số trước softmax: dưới 1 thì nhọn hơn, trên 1 thì phẳng hơn
entropy
một phân phối trải rộng tới đâu: 0 khi chắc chắn, ln(n) khi cả n lựa chọn bằng nhau
Đến lượt bạn

Gán my_order là các nhiệt độ 0.5, 1.0 và 2.0 sắp xếp từ entropy thấp nhất tới cao nhất (dự đoán của bạn). Rồi viết entropy_at(scores, T) cho một hàng điểm số, và điền measured với entropy trung bình của phân phối ký tự tiếp theo của mô hình trên các ngữ cảnh cho sẵn, cho mỗi nhiệt độ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.