Смотрите: Веса внимания
Вы только что реализовали scaled dot-product attention. Вот что эти матрицы на самом деле do. Attention позволяет каждому слову смотреть на каждое слово в предложении (включая само себя), оценивать, насколько каждое из них важно, и пересобирать себя как weighted blend из них.
Нажмите play. Посмотрите, как слово sat проходит через the cat sat: сырые оценки становятся весами softmax, которые в сумме дают 1, самая толстая линия указывает на слово, которое важнее всего, и sat поглощает его контекст, в основном из cat.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.