Программа курса Урок 108 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Смотрите: Веса внимания

Вы только что реализовали scaled dot-product attention. Вот что эти матрицы на самом деле do. Attention позволяет каждому слову смотреть на каждое слово в предложении (включая само себя), оценивать, насколько каждое из них важно, и пересобирать себя как weighted blend из них.

Нажмите play. Посмотрите, как слово sat проходит через the cat sat: сырые оценки становятся весами softmax, которые в сумме дают 1, самая толстая линия указывает на слово, которое важнее всего, и sat поглощает его контекст, в основном из cat.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.