Программа курса Урок 155 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

На что смотрят головы

Почему это важно Веса внимания можно прочитать. Взгляд на то, что делают обученные головы, - начало интерпретируемости: понимания модели по её внутренностям, а не только по выходам.

У записанной модели ширины 64 2 слоя по 4 головы. Для каждой головы измерьте, сколько внимания в среднем позиция отдаёт символу прямо перед ней. Если бы голова распределяла внимание равномерно по всему, что может видеть, это число было бы около 0,10 на фрагменте из 32 символов.

Предскажите: головы какого слоя специализируются на "смотреть на предыдущий символ"?

Слова и символы этого урока
attention
softmax оценок query-key, используемый для усреднения values
голова
одно из H более узких внимании, работающих бок о бок, каждое со своим узором
Твоя очередь

Присвойте my_guess 0 или 1. Напишите prev_share(A) для одной матрицы внимания t на t: среднее A[i, i - 1] для i от 1 до t - 1. Заполните share: (layer, head) к среднему prev_share по 40 отложенным фрагментам, используя attention_maps.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.