Consertando JSON malformado do modelo
Modelos não são emissores perfeitos de JSON. Mesmo no modo JSON, eles envolvem a saída em cercas ```json, acrescentam um preâmbulo tagarela ("Sure! Here is the data:"), deixam uma vírgula sobrando no fim ou usam aspas simples. Um json.loads puro falha em todos esses casos, e em produção isso é uma requisição que falhou. Uma pequena etapa de conserto recupera a maioria deles de forma barata antes de você desistir e pedir de novo ao modelo.
O formato de um caminho robusto é este:
text = call_model(prompt) # may be fenced / prose-wrapped / sloppy
try:
data = json.loads(text)
except ValueError:
data = repair_json(text) # one cheap repair attempt before re-promptingVocê vai construir repair_json(text). Faça-o passar por estas etapas, em ordem, e pare assim que json.loads funcionar:
- Tire a cerca de código. Se tudo estiver envolvido em
```(opcionalmente```json), fique só com o que está dentro. Uma regex como^```[a-zA-Z]*\s*(.*?)\s*```$comre.DOTALLresolve. - Corte o texto em volta. Encontre o primeiro
{ou[e o último}ou]correspondente, e recorte só esse trecho. Isso tira o "Sure! Here is..." de antes e qualquer conversa sobrando depois. - Tente do jeito que está. Muitas strings já são válidas agora -> retorne cedo.
- Conserte primeiro o defeito mais leve: tire as vírgulas sobrando com
re.sub(r",(\s*[}\]])", r"\1", s)e depois tentejson.loadsde novo. - Último recurso: troque aspas simples por aspas duplas e tente mais uma vez.
- Se ainda assim não interpretar, levante um
ValueError-> nunca retorne lixo. Uma string sem conserto é um sinal para pedir de novo, não para chutar.
Por que a troca de aspas vem por último: ela também reescreve apóstrofos dentro de valores de string, então {"note": "it's fine",} quebraria se você trocasse primeiro, enquanto tirar só a vírgula já resolve. A saída de modelos muitas vezes contém apóstrofos (nomes como O'Brien, palavras como it's), então tente os consertos que não podem danificar valores antes do que pode. Mesmo assim, isto é uma primeira linha de defesa; quando uma resposta real não interpreta, pedir de novo (ou usar saídas estruturadas, que limitam o modelo a JSON válido) é melhor que um conserto mais esperto. Garanta que JSON limpo passe intacto, que true/false sobrevivam como os Python True/False, e que uma string sem JSON recuperável levante exceção.
Escreva repair_json(text), que tira uma cerca de código ```/```json, corta qualquer texto antes do primeiro {/[ e depois do último }/] correspondente e então tenta json.loads; se falhar, tira as vírgulas sobrando no fim e tenta de novo; só se isso ainda falhar ela também troca aspas simples por aspas duplas e tenta mais uma vez (a troca de aspas vem por último porque também reescreve apóstrofos dentro dos valores); se ainda não interpretar, ela levanta um ValueError. JSON limpo precisa passar sem mudança.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.