シラバス レッスン 250 中 222 · プロジェクト:ドキュメントインテリジェンスサービス
プロジェクト:ドキュメントインテリジェンスサービス

ラベル付き文書でまとめて評価する

1 件の文書なら、解析も、検証も、突き合わせもできます。採用担当者が本当に聞くのは、何千件にわたってどれだけうまくいくか です。本格的な ML チームやデータチームはみな同じ方法で答えます -> 評価 です。手でラベルを付けた文書のまとまり(正解 セット)を用意し、抽出器をそれらに走らせ、各項目がどれくらい正しく出てきたかを測ります。評価がなければ、信頼もありません。

evaluate(predictions, gold) を書いてください。どちらも同じ長さの辞書のリストで、位置で対応しています -> predictions[i] は、本当の答えが gold[i] である文書に対する抽出器の出力です。項目ごとに 比べ、要約を返します:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

ルール:

  • 採点する項目の集合は、正解レコードに現れるすべてのキーの和集合です(予測に項目がない場合、その項目は不正解として数えます)。
  • 予測した値が正解の値と等しいとき、その項目は 正解 です。予測には .get(field) を使い、キーがなくてもクラッシュせずに None として比べられるようにします。
  • accuracy は、正解だった項目の合計を、比べた項目の合計(文書数 × 項目数)で割り、小数 4 桁に丸めたものです。
  • 空でも安全: gold が空なら {"accuracy": 0.0, "per_field": {}, "n": 0} を返します -> 決してゼロで割りません。

使いたければ pandas で集計をすっきりさせられます -> 項目ごとの的中を DataFrame にして列を合計します -> ただ、ふつうの辞書のループを 2 つ書くのでも同じくらい良い方法です。ここではシードは使いません。まとまりは固定なので、正解率は採点側がぴったり確認できる数値になります。

これでドキュメントインテリジェンスサービスの一周が完成します。抽出 -> 修復 -> 検証 -> 突き合わせ -> 測定。「照合と項目単位の評価ハーネスを備えた、スキーマ検証付きの抽出パイプラインを作った」は、2 回目の面接につながる一文です。Run を押して、ラベル付きの小さなまとまりを採点してみましょう。

あなたの番

位置で対応する 2 つのレコード辞書のリストに対して evaluate(predictions, gold) を書いてください。正解レコードのキーの和集合にあるすべての項目を採点します。prediction.get(field) == gold[field] のとき項目は正解です(キーがなければ None として比べます)。{"accuracy", "per_field", "n"} を返します。accuracy は正解の合計を比べた項目の合計で割ったもの(小数 4 桁に丸める)、per_field[field] は {"correct", "total"}、n は文書の数です。gold が空なら {"accuracy": 0.0, "per_field": {}, "n": 0} を返します(ゼロ除算なし)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。