Где находятся параметры
Почему это важно "Модель на 7 миллиардов параметров" - это просто та же арифметика при большем d. Умение считать говорит, куда уходит память и почему ширина дорога.
В каждом блоке большие матрицы - это Wq, Wk, Wv и Wo (четыре d на d: 4d в квадрате) и feed-forward (d на 4d и 4d на d: 8d в квадрате). Это 12 d в квадрате плюс несколько векторов длины d для layer norm.
Вне блоков: эмбеддинги токенов (V на d, в этой модели они же используются как выходной слой), векторы позиций (ctx на d) и итоговая layer norm.
Удвоение d умножает параметры блока на 4, но не время на 4. Записанные прогоны ширины 128 в среднем шли примерно в 2,3 раза дольше, чем ширины 64 (от 1,1 до 4 раз от прогона к прогону: реальное время на общей машине шумное), а ширина 32 была не быстрее ширины 64. В настолько маленьких моделях фиксированные затраты на шаг (Python, маленькие массивы) составляют большую часть времени; 4× проявляется, только когда начинают преобладать умножения матриц.
Слова и символы этого урока
- голова
- одно из H более узких внимании, работающих бок о бок, каждое со своим узором
- вектор позиции
- прибавляется к каждому токену, чтобы внимание могло различать порядок
- layer norm
- нормализует каждый вектор отдельно: среднее 0, разброс 1, затем умножить на g и прибавить b
- 12 d в квадрате
- параметры в матрицах одного блока
Напишите count(V, d, layers, ctx), возвращающую точное число параметров этого GPT (в каждом блоке 12 d в квадрате + 4d: две layer norm с g и b). Оно должно совпадать с настоящими моделями.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.