壊れたモデルの JSON を直す
モデルは完璧な JSON の出力機ではありません。JSON モードでさえ、出力を ```json のフェンスで包んだり、おしゃべりな前置き(「もちろん!こちらがデータです:」)を付けたり、末尾にカンマを残したり、単一引用符を使ったりします。素の json.loads はこれらすべてで例外を投げ、本番ではそれは失敗したリクエストです。小さな修復のステップがあれば、あきらめてモデルにもう一度頼む前に、そのほとんどを安く取り戻せます。
頑丈な道筋の形はこうです:
text = call_model(prompt) # may be fenced / prose-wrapped / sloppy
try:
data = json.loads(text)
except ValueError:
data = repair_json(text) # one cheap repair attempt before re-prompting作るのは repair_json(text) です。次のステップを順番にたどり、json.loads が成功したらすぐに止めます:
- コードフェンスを剥がす。全体が
```(場合によっては```json)で包まれていれば、中身だけを残します。re.DOTALLを付けた^```[a-zA-Z]*\s*(.*?)\s*```$のような正規表現でできます。 - まわりの文章を切り落とす。最初の
{か[と、対応する最後の}か]を見つけ、その範囲だけを切り出します。これで前の「もちろん!こちらが...」と、後ろのおしゃべりが落ちます。 - そのまま試す。多くの文字列はこれで有効になっています -> 早めに返します。
- いちばん穏やかな壊れ方を先に直す:
re.sub(r",(\s*[}\]])", r"\1", s)で末尾のカンマを取り除き、それからもう一度json.loadsします。 - 最後の手段:単一引用符を二重引用符に変えて、もう一度試します。
- それでも解析できなければ、エラーを送出する:
ValueErrorです -> 決してゴミを返さないこと。直せない文字列は、当て推量ではなく、もう一度頼むべき合図です。
引用符の入れ替えを最後にする理由:それは文字列の値の中のアポストロフィも書き換えてしまうので、{"note": "it's fine",} は先に入れ替えると壊れますが、カンマを取り除くだけなら直ります。モデルの出力にはよくアポストロフィが含まれる(O'Brien のような名前、it's のような単語)ので、値を傷つけえない修正を、傷つけうる修正より先に試しましょう。それでもこれは最初の防衛線にすぎません。本物の返答が解析できないときは、もっと賢い修復より、もう一度頼むこと(あるいはモデルを有効な JSON に制約する構造化出力)のほうが勝ります。きれいな JSON は手を加えられずに通り、true/false は Python の True/False として生き残り、取り戻せる JSON のない文字列はエラーになるようにしましょう。
```/```json のコードフェンスを剥がし、最初の {/[ より前と、対応する最後の }/] より後ろの文章を切り落とし、それから json.loads を試す repair_json(text) を書いてください。失敗したら末尾のカンマを取り除いてもう一度試し、それでも失敗したときだけ単一引用符も二重引用符に変えてもう一度試し(引用符の入れ替えは値の中のアポストロフィも書き換えるので最後にします)、それでも解析できなければ ValueError を送出します。きれいな JSON は変更されずに通らなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。