Программа курса Урок 131 из 246 · Модуль 11: Сети с памятью (RNN)
Модуль 11: Сети с памятью (RNN)

Выборка текста с температурой

Почему это важно У каждого чат-бота есть настройка "температура". Это одно деление, и оно обменивает безопасный однообразный текст на разнообразный и более рискованный.

Чтобы выбрать следующий символ, модель превращает свои оценки в вероятности через softmax. Если сначала разделить оценки на температуру T, меняется, насколько острое это распределение: T меньше 1 его обостряет (фаворит выигрывает чаще), T больше 1 его выравнивает (сюрпризы становятся вероятными).

Энтропия, минус сумма p log p, измеряет, насколько распределение размазано: 0, когда один выбор достоверен, ln(n), когда все n равновероятны.

Вы измерите это на настоящей записанной модели: крошечном GPT курса, обученном на тексте его собственных уроков.

Слова и символы этого урока
температура
делить оценки перед softmax: меньше 1 - острее, больше 1 - площе
энтропия
насколько распределение размазано: 0 при уверенности, ln(n), когда все n вариантов равны
Твоя очередь

Присвойте my_order температуры 0.5, 1.0 и 2.0, отсортированные от наименьшей энтропии к наибольшей (ваше предсказание). Затем напишите entropy_at(scores, T) для одной строки оценок и заполните measured средней энтропией распределения следующего символа модели по данным контекстам, для каждой температуры.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.