Выборка текста с температурой
Почему это важно У каждого чат-бота есть настройка "температура". Это одно деление, и оно обменивает безопасный однообразный текст на разнообразный и более рискованный.
Чтобы выбрать следующий символ, модель превращает свои оценки в вероятности через softmax. Если сначала разделить оценки на температуру T, меняется, насколько острое это распределение: T меньше 1 его обостряет (фаворит выигрывает чаще), T больше 1 его выравнивает (сюрпризы становятся вероятными).
Энтропия, минус сумма p log p, измеряет, насколько распределение размазано: 0, когда один выбор достоверен, ln(n), когда все n равновероятны.
Вы измерите это на настоящей записанной модели: крошечном GPT курса, обученном на тексте его собственных уроков.
Слова и символы этого урока
- температура
- делить оценки перед softmax: меньше 1 - острее, больше 1 - площе
- энтропия
- насколько распределение размазано: 0 при уверенности, ln(n), когда все n вариантов равны
Присвойте my_order температуры 0.5, 1.0 и 2.0, отсортированные от наименьшей энтропии к наибольшей (ваше предсказание). Затем напишите entropy_at(scores, T) для одной строки оценок и заполните measured средней энтропией распределения следующего символа модели по данным контекстам, для каждой температуры.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.