Conteúdo do curso Lição 220 de 250 · Projeto: Serviço de Inteligência de Documentos
Projeto: Serviço de Inteligência de Documentos

Validar contra um Schema + Reparar JSON

Seu parser produz um dicionário, mas em um pipeline real os dados costumam chegar como texto JSON -> de um serviço anterior, um arquivo salvo ou um LLM que foi instruído a "retornar JSON". Duas coisas sempre dão errado, e esta lição trata ambas: o JSON está malformado, e o JSON está bem formado mas errado.

Parte um: conserte o JSON. Modelos adoram envolver JSON em ```json code fences, deixar uma vírgula no final ou usar aspas simples. O json.loads bruto falha em todos esses casos. Escreva repair_json(text) que limpa o texto e depois o analisa -> retornando o objeto Python. Os passos de reparo, em ordem:

  • Remover cercas de código Markdown: remova um ```json ou ``` inicial e um ``` final.
  • Remova vírgulas extras antes de um } ou ] (um regex como re.sub(r",\s*([}\]])", r"\1", text)).
  • Tente json.loads na string limpa. Só se isso falhar, transforme aspas simples em aspas duplas e tente de novo (fazer o parsing primeiro significa que um apóstrofo dentro de um valor, como O'Brien, nunca é corrompido).
  • Retorne o resultado analisado.

O ponto principal é que repair_json deve não gerar nas entradas bagunçadas que os testes fornecem -> ele repara e analisa em vez de travar.

Parte dois: validar contra um esquema. Agora que você tem um objeto, ele tem o formato correto? Escreva validate_record(obj, schema) -> um dicionário {"ok": bool, "errors": [..]}. O schema mapeia cada nome de campo obrigatório para um tipo Python, como:

schema = {"vendor": str, "total": float, "line_items": list}

Para cada campo no schema: se ele estiver faltando em obj, adicione uma string de erro "missing: <field>"; se ele estiver presente mas com o tipo errado, adicione "wrong type: <field>". ok é True apenas quando errors está vazio.

Uma aresta afiada que morde todo mundo: em Python bool é uma subclasse de int, então isinstance(True, int) é True. Um schema pedindo um int deve reject um JSON true. Proteja isso: quando o tipo esperado é int, também exija not isinstance(value, bool). Campos Float são comumente alimentados com números inteiros, então aceite um int onde um float é esperado (mas ainda rejeite bool).

Juntas, essas duas funções são o porteiro do pipeline: nada malformado e nada com formato errado passa. Pressione Run para reparar um bloco com vírgula pendente e validar o resultado.

Sua vez

Escreva duas funções. repair_json(text) remove cercas de código Markdown, remove vírgulas finais antes de }/], tenta json.loads, e só se isso falhar converte aspas simples em aspas duplas e analisa novamente, retornando o objeto (não deve lançar erro nesses inputs bagunçados). validate_record(obj, schema) retorna {"ok": bool, "errors": [..]}: um erro "missing: <field>" por campo de esquema ausente e um erro "wrong type: <field>" por incompatibilidade de tipo, com ok verdadeiro apenas quando não houver erros. Rejeite um JSON true onde um int é exigido (bool não é um int aqui), e aceite um int onde um float é esperado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.