Исправление некорректного JSON модели
Модели не являются идеальными генераторами JSON. Даже в режиме JSON они оборачивают вывод в ```json fences, добавляют лишнее вступление ("Sure! Here is the data:"), оставляют лишнюю запятую или используют одинарные кавычки. Чистый json.loads выдает ошибку на всех этих случаях, и в продакшене это считается неудачным запросом. Небольшой шаг repair дешево восстанавливает большинство из них перед тем как вы сдадитесь и снова отправите запрос модели.
Форма надежного пути выглядит так:
text = call_model(prompt) # may be fenced / prose-wrapped / sloppy
try:
data = json.loads(text)
except ValueError:
data = repair_json(text) # one cheap repair attempt before re-promptingВы строите repair_json(text). Пройдите по этим шагам по порядку и остановитесь, как только json.loads будет успешно выполнен:
- Удалите блок кода. Если всё заключено в
```(опционально```json), оставьте только содержимое. Регулярное выражение типа^```[a-zA-Z]*\s*(.*?)\s*```$сre.DOTALLделает это. - Удалите окружающий текст. Найдите первый
{или[и соответствующий последний}или], и вырежьте только этот фрагмент. Это уберет "Sure! Here is..." в начале и любой лишний текст в конце. - Попробуйте как есть. Многие строки теперь валидны -> возвращайте результат раньше.
- Сначала исправьте самые легкие ошибки: удалите лишние запятые с помощью
re.sub(r",(\s*[}\]])", r"\1", s), затемjson.loadsеще раз. - Последний шанс: замените одинарные кавычки на двойные и попробуйте еще раз.
- Если все равно не парсится, raise
ValueError-> никогда не возвращайте мусор. Неисправимая строка это сигнал для повторного промпта, а не для угадывания.
Почему замена кавычек идет последней: она также перезаписывает апострофы внутри строковых значений, поэтому {"note": "it's fine",} сломается, если вы поменяете их сначала, в то время как удаление запятой исправляет это. Вывод модели часто содержит апострофы (имена типа O'Brien, слова типа it's), поэтому пробуйте исправления, которые не могут повредить значения, перед тем как использовать то, которое может. Даже в этом случае это первая линия защиты; когда настоящий ответ не парсится, повторный запрос (или структурированные ответы, которые ограничивают модель валидным JSON) лучше, чем умный ремонт. Убедитесь, что чистый JSON проходит нетронутым, true/false выживают как Python True/False, и строка без восстанавливаемого JSON вызывает ошибку.
Напишите repair_json(text), который удаляет ограду кода ```/```json, вырезает любой текст до первого {/[ и после соответствующего последнего }/], затем пытается json.loads; при ошибке он удаляет лишние запятые и пробует снова; только если это все еще не удается, он также конвертирует одинарные кавычки в двойные и пробует еще раз (замена кавычек идет последней, так как она также перезаписывает апострофы внутри значений); если он все еще не может распарсить данные, он вызывает ValueError. Чистый JSON должен проходить без изменений.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.