Программа курса Урок 203 из 250 · Тонкая настройка, концептуально
Тонкая настройка, концептуально

Детерминированное разделение на Train/Val

Когда ваш dataset очищен, его нужно разделить: большинство строк идут в train (на чем модель учится) и отдельный кусок идет в validation (на чем вы оцениваете ее). Отложенный набор священен. Если пример попадает в обе половины, ваше число валидации это ложь, потому что модель тестировалась на том, на чем она обучалась. Поэтому разделение должно быть чистым: без пересечений, ничего не потеряно.

Это также должно быть воспроизводимым. "Оно набрало 0.81" не имеет смысла, если повторный запуск скрипта перемешивает данные в другой сплит и дает 0.79. Исправление такое же, как вы используете везде, где появляется случайность в ML: задайте seed генератору. Тот же seed всегда дает тот же сплит, поэтому ваш эксперимент повторяем и коллега может воспроизвести ваши точные числа.

Обратите внимание, что мы перемешиваем indices, а не сами строки, и передаем явное seed в приватный генератор вместо того, чтобы трогать глобальный:

import random

def split_dataset(rows, val_frac, seed):
    indices = list(range(len(rows)))
    rng = random.Random(seed)   # a private RNG, does not disturb global state
    rng.shuffle(indices)
    n_val = int(round(len(rows) * val_frac))
    ...

Используйте random.Random(seed) (новый изолированный генератор), а не random.seed(...) в глобальном модуле, чтобы вызов вашей функции не менял случайность в других частях программы незаметно.

Создайте split_dataset(rows, val_frac, seed), которая возвращает {"train": [...], "val": [...]}, где:

  • размер валидации составляет int(round(len(rows) * val_frac)), а train это остальное;
  • train и val являются disjoint и вместе содержат каждую исходную строку ровно один раз;
  • тот же seed всегда дает то же разделение, а другой seed обычно дает другое.

Эта детерминированная подготовка определяет все, от чего зависит запуск на GPU. Само обучение (LoRA adapters, optimizer, loss curve) происходит на оборудовании, которого нет в этом песочнице. Нажмите Run, чтобы разделить list и подтвердить, что две половины восстанавливают целое.

Твоя очередь

Напишите split_dataset(rows, val_frac, seed), которая возвращает {"train": [...], "val": [...]}. Перемешайте список индексов с помощью random.Random(seed) (не глобальный RNG), возьмите первые int(round(len(rows) * val_frac)) как валидацию, а остальные как обучение. Две половины должны быть непересекающимися, вместе должны содержать каждую исходную строку ровно один раз и должны быть воспроизводимыми для заданного seed.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.