Conteúdo do curso Lição 137 de 250 · Saídas estruturadas e chamada de funções/ferramentas
Saídas estruturadas e chamada de funções/ferramentas

Consertando JSON malformado do modelo

Modelos não são emissores perfeitos de JSON. Mesmo no modo JSON, eles envolvem a saída em cercas ```json, acrescentam um preâmbulo tagarela ("Sure! Here is the data:"), deixam uma vírgula sobrando no fim ou usam aspas simples. Um json.loads puro falha em todos esses casos, e em produção isso é uma requisição que falhou. Uma pequena etapa de conserto recupera a maioria deles de forma barata antes de você desistir e pedir de novo ao modelo.

O formato de um caminho robusto é este:

text = call_model(prompt)        # may be fenced / prose-wrapped / sloppy
try:
    data = json.loads(text)
except ValueError:
    data = repair_json(text)     # one cheap repair attempt before re-prompting

Você vai construir repair_json(text). Faça-o passar por estas etapas, em ordem, e pare assim que json.loads funcionar:

  • Tire a cerca de código. Se tudo estiver envolvido em ``` (opcionalmente ```json), fique só com o que está dentro. Uma regex como ^```[a-zA-Z]*\s*(.*?)\s*```$ com re.DOTALL resolve.
  • Corte o texto em volta. Encontre o primeiro { ou [ e o último } ou ] correspondente, e recorte só esse trecho. Isso tira o "Sure! Here is..." de antes e qualquer conversa sobrando depois.
  • Tente do jeito que está. Muitas strings já são válidas agora -> retorne cedo.
  • Conserte primeiro o defeito mais leve: tire as vírgulas sobrando com re.sub(r",(\s*[}\]])", r"\1", s) e depois tente json.loads de novo.
  • Último recurso: troque aspas simples por aspas duplas e tente mais uma vez.
  • Se ainda assim não interpretar, levante um ValueError -> nunca retorne lixo. Uma string sem conserto é um sinal para pedir de novo, não para chutar.

Por que a troca de aspas vem por último: ela também reescreve apóstrofos dentro de valores de string, então {"note": "it's fine",} quebraria se você trocasse primeiro, enquanto tirar só a vírgula já resolve. A saída de modelos muitas vezes contém apóstrofos (nomes como O'Brien, palavras como it's), então tente os consertos que não podem danificar valores antes do que pode. Mesmo assim, isto é uma primeira linha de defesa; quando uma resposta real não interpreta, pedir de novo (ou usar saídas estruturadas, que limitam o modelo a JSON válido) é melhor que um conserto mais esperto. Garanta que JSON limpo passe intacto, que true/false sobrevivam como os Python True/False, e que uma string sem JSON recuperável levante exceção.

Sua vez

Escreva repair_json(text), que tira uma cerca de código ```/```json, corta qualquer texto antes do primeiro {/[ e depois do último }/] correspondente e então tenta json.loads; se falhar, tira as vírgulas sobrando no fim e tenta de novo; só se isso ainda falhar ela também troca aspas simples por aspas duplas e tenta mais uma vez (a troca de aspas vem por último porque também reescreve apóstrofos dentro dos valores); se ainda não interpretar, ela levanta um ValueError. JSON limpo precisa passar sem mudança.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.