Детерминированное разделение на Train/Val
Когда ваш dataset очищен, его нужно разделить: большинство строк идут в train (на чем модель учится) и отдельный кусок идет в validation (на чем вы оцениваете ее). Отложенный набор священен. Если пример попадает в обе половины, ваше число валидации это ложь, потому что модель тестировалась на том, на чем она обучалась. Поэтому разделение должно быть чистым: без пересечений, ничего не потеряно.
Это также должно быть воспроизводимым. "Оно набрало 0.81" не имеет смысла, если повторный запуск скрипта перемешивает данные в другой сплит и дает 0.79. Исправление такое же, как вы используете везде, где появляется случайность в ML: задайте seed генератору. Тот же seed всегда дает тот же сплит, поэтому ваш эксперимент повторяем и коллега может воспроизвести ваши точные числа.
Обратите внимание, что мы перемешиваем indices, а не сами строки, и передаем явное seed в приватный генератор вместо того, чтобы трогать глобальный:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...Используйте random.Random(seed) (новый изолированный генератор), а не random.seed(...) в глобальном модуле, чтобы вызов вашей функции не менял случайность в других частях программы незаметно.
Создайте split_dataset(rows, val_frac, seed), которая возвращает {"train": [...], "val": [...]}, где:
- размер валидации составляет
int(round(len(rows) * val_frac)), а train это остальное; - train и val являются disjoint и вместе содержат каждую исходную строку ровно один раз;
- тот же seed всегда дает то же разделение, а другой seed обычно дает другое.
Эта детерминированная подготовка определяет все, от чего зависит запуск на GPU. Само обучение (LoRA adapters, optimizer, loss curve) происходит на оборудовании, которого нет в этом песочнице. Нажмите Run, чтобы разделить list и подтвердить, что две половины восстанавливают целое.
Напишите split_dataset(rows, val_frac, seed), которая возвращает {"train": [...], "val": [...]}. Перемешайте список индексов с помощью random.Random(seed) (не глобальный RNG), возьмите первые int(round(len(rows) * val_frac)) как валидацию, а остальные как обучение. Две половины должны быть непересекающимися, вместе должны содержать каждую исходную строку ровно один раз и должны быть воспроизводимыми для заданного seed.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.