Программа курса Урок 219 из 246 · Модуль 21: Взгляд внутрь модели
Модуль 21: Взгляд внутрь модели

Зонду нужен контроль

Почему это важно Зонд (небольшой линейный классификатор, обученный на внутренних векторах модели) - самый частый инструмент интерпретируемости и самый переоцениваемый. Высокая точность может значить, что это вычислила модель, а может - что это сделал зонд.

Вы встречали линейные зонды в модуле 18. Здесь обучите один на векторах GPT в двух местах: 'embed' (эмбеддинг символа плюс его позиция, до любого слоя) и 'resid1' (после первого блока). Три вопроса, каждый - метка 0/1 для каждого символа:

  • 'vowel': является ли этот символ гласной?
  • 'control': является ли он одним из b, c, g, n, r, s, t? Группировка, которая ничего не значит, подобранная так, чтобы быть такой же частой, как гласные (28,7% символов против 28,8%).
  • 'third letter': является ли он третьей буквой своего слова или дальше?

Сначала предскажите: если зонд гласных набирает около 100%, показывает ли это, что модель выучила, что такое гласная?

Слова и символы этого урока
интерпретируемость
выяснение того, что обученная сеть вычисляет внутри, и проверка этого
зонд
небольшой линейный классификатор, обученный читать что-то из внутренних векторов модели
Твоя очередь

Присвойте my_guess значение "yes" или "no". Заполните scores[kind][site] значениями probe(site, kind) для трёх видов и двух мест. Затем присвойте computed тот единственный вид, зонд которого показывает что-то, что вычислил слой (после блока это гораздо легче, чем по одному эмбеддингу).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.