Самосогласованность: Sample, Parse, Vote
Один образец модели может быть неверным по воле случая. Self-consistency берет несколько образцов для одного и того же вопроса, извлекает ответ из каждого и дает им проголосовать. Ответ большинства обычно надежнее, чем любой одиночный запуск. Сэмплирование это работа модели; парсинг и голосование это ваша работа, и она полностью детерминирована.
Создайте две функции:
extract_answer(text)возвращает ПОСЛЕДНЕЕ целое число в тексте (последнее число модели после рассуждений), илиNone, если целых чисел нет. Найдите целые числа с помощью regex по строке.self_consistency(samples)берет list строк, извлекает answer из каждой, отбрасывает те, что превратились вNone, и возвращает большинство значений черезCounter. При равенстве выбирай smallest значение, чтобы результат был детерминированным.
Например, если представлены образцы, которые парсятся в [4, 4, 5], голос возвращает 4. Если дан [3, 5] (ничья 1-1), он возвращает 3, меньший. Непарсящиеся образцы просто игнорируются:
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Детерминированный способ разрешения ничьей важен: eval, которая возвращает разного победителя при каждом запуске на равных голосах, невозможно протестировать и нельзя выпускать. Нажмите Run, чтобы оценить.
Напишите extract_answer(text), возвращающий последнее целое число в тексте (обработайте ведущий минус), или None, если ничего нет. Напишите self_consistency(samples), который извлекает ответ из каждого образца, отбрасывает результаты None и возвращает большинство значений с Counter, разрешая ничьи в пользу наименьшего значения. Если парсируемых ответов нет, верните None.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.