Что модель выучила о буквах
Почему это важно Никто не говорит языковой модели, что a и e обе гласные. Если её эмбеддинги всё равно ставят их рядом, модель открыла это только по тексту. Это первый проблеск "смысла", выученного из данных.
Чтобы сравнить два эмбеддинга, используйте косинусное сходство: скалярное произведение, делённое на обе длины. Оно равно 1, когда два вектора направлены одинаково, 0, когда они не связаны (под прямым углом), и минус 1, когда направлены противоположно. Оно игнорирует длину, которая в основном отражает, как часто встречается символ.
Вы заглянете внутрь записанного крошечного GPT курса (его строит модуль 13). Он читал только текст уроков этого курса, по одному символу, где каждый символ - строка из 64 чисел.
Сначала предскажите: какая группа пар символов будет в среднем самой похожей: две гласные, гласная и согласная или две цифры?
Слова и символы этого урока
- эмбеддинг
- строка обучаемых чисел, обозначающая один символ
- косинусное сходство
- скалярное произведение на обе длины: 1 - одно направление, 0 - не связаны, -1 - противоположны
Присвойте my_prediction значение "vowels", "mixed" или "digits". Напишите cosine(a, b) и nearest(ch, k) (k других символов с наибольшим косинусом к ch, лучшие первыми). Затем заполните group средним косинусом по всем парам разных символов внутри каждой группы.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.