Подготовка датасета для Instruction-Tuning
Давайте будем честны в том, что этот модуль может и чего не может делать. Тонкая настройка модели это работа для GPU.Вы берете базовую модель, показываете ей тысячи пар примеров и запускаете gradient descent, чтобы немного изменить ее веса. Для этого нужен training loop, GPU и часы вычислений. Ничего из этого не работает в этом браузерном песочнице (здесь нет torch, нет GPU, нет сети). Поэтому мы не будем делать вид, что это иначе.
То, чему мы БУДЕМ учить, это часть, на которой инженер ИИ на самом деле проводит большую часть времени, и часть, которая определяет, выдаст ли дорогой запуск на GPU что-то хорошее: датасет. Известный результат в этой области (LIMA, "Less Is More for Alignment") показал, что около 1,000 тщательно отобранных примеров побеждают гораздо большую кучу шумных. Мусор на входе, мусор на выходе здесь не лозунг, это вся игра. Вы строите датасет, который питает GPU.
Запись инструкционного обучения это просто маленький dict. Обычная форма это instruction (что просит пользователь), необязательный input (дополнительный контекст) и золотой output (что должна ответить хорошая модель):
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Прежде чем что-то из этого попадет к тренеру, вы должны это очистить. Реальные экспорты полны строк с отсутствующим output, пустым instruction, который состоит только из пробелов, неправильным типом там, где ожидалась string, и точными дубликатами, которые тратят вычислительные ресурсы и смещают модель в сторону повторяющихся примеров. Ваша работа это детерминированный фильтр.
Создайте две функции.
validate_pair(example)->Trueтолько когдаexampleэто словарь, у которогоinstructionИoutputоба являются строками, которые не пустые после.strip(). Все остальное (отсутствующий ключ, не строка, пустота или только пробелы) возвращаетFalse. Отсутствующийinputдопустим, он необязательный.clean_dataset(rows)-> удалите каждую невалидную пару, затем удалите точные дубликаты (одинаковыеinstruction, одинаковыеinput, одинаковыеoutputпосле удаления лишнего), оставляя ПЕРВОЕ вхождение. Верните{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Неверная строка считается как dropped_invalid; верная, но повторяющаяся строка считается как dropped_duplicate. Счеты должны сходиться: input == kept + dropped_invalid + dropped_duplicate.
В реальном пайплайне очищенные строки были бы токенизированы и переданы трейнеру. Этот шаг здесь только для понимания концепции, но стоит знать общую картину того, куда поступают ваши данные. Полное дообучение обновляет каждый вес в модели: самый точный, самый дорогой, и оно создает новую копию модели. LoRA / PEFT (эффективное по параметрам дообучение) замораживает базовую модель и тренирует только маленькие низкоранговые адаптеры, которые накладываются сверху, поэтому запуск помещается на одной GPU и вы можете менять адаптеры в одной общей базе. И помимо обычного обучения с учителем есть настройка предпочтений, которая выравнивает тон и безопасность на основе человеческих предпочтений, а не эталонных ответов: DPO (Direct Preference Optimization) тренируется напрямую на парах выбранных и отвергнутых ответов и является более простой и стабильной альтернативой старому циклу RLHF/PPO с моделью вознаграждения. Нажмите Run, чтобы очистить небольшой грязный датасет и вывести статистику.
Напишите validate_pair(example), возвращающий True только тогда, когда example это словарь, чьи instruction и output оба являются непустыми (после .strip()) строками; все остальное возвращает False (пропущенный input допустим). Затем напишите clean_dataset(rows), который отбрасывает невалидные пары и точные дубликаты (одинаковые очищенные instruction/input/output, оставляя первый), возвращая {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.