Программа курса Урок 129 из 250 · Промпт-инжиниринг для ИИ-инженеров
Промпт-инжиниринг для ИИ-инженеров

Самосогласованность: Sample, Parse, Vote

Один образец модели может быть неверным по воле случая. Self-consistency берет несколько образцов для одного и того же вопроса, извлекает ответ из каждого и дает им проголосовать. Ответ большинства обычно надежнее, чем любой одиночный запуск. Сэмплирование это работа модели; парсинг и голосование это ваша работа, и она полностью детерминирована.

Создайте две функции:

  • extract_answer(text) возвращает ПОСЛЕДНЕЕ целое число в тексте (последнее число модели после рассуждений), или None, если целых чисел нет. Найдите целые числа с помощью regex по строке.
  • self_consistency(samples) берет list строк, извлекает answer из каждой, отбрасывает те, что превратились в None, и возвращает большинство значений через Counter. При равенстве выбирай smallest значение, чтобы результат был детерминированным.

Например, если представлены образцы, которые парсятся в [4, 4, 5], голос возвращает 4. Если дан [3, 5] (ничья 1-1), он возвращает 3, меньший. Непарсящиеся образцы просто игнорируются:

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Детерминированный способ разрешения ничьей важен: eval, которая возвращает разного победителя при каждом запуске на равных голосах, невозможно протестировать и нельзя выпускать. Нажмите Run, чтобы оценить.

Твоя очередь

Напишите extract_answer(text), возвращающий последнее целое число в тексте (обработайте ведущий минус), или None, если ничего нет. Напишите self_consistency(samples), который извлекает ответ из каждого образца, отбрасывает результаты None и возвращает большинство значений с Counter, разрешая ничьи в пользу наименьшего значения. Если парсируемых ответов нет, верните None.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.