ラベル付き文書でまとめて評価する
1 件の文書なら、解析も、検証も、突き合わせもできます。採用担当者が本当に聞くのは、何千件にわたってどれだけうまくいくか です。本格的な ML チームやデータチームはみな同じ方法で答えます -> 評価 です。手でラベルを付けた文書のまとまり(正解 セット)を用意し、抽出器をそれらに走らせ、各項目がどれくらい正しく出てきたかを測ります。評価がなければ、信頼もありません。
evaluate(predictions, gold) を書いてください。どちらも同じ長さの辞書のリストで、位置で対応しています -> predictions[i] は、本当の答えが gold[i] である文書に対する抽出器の出力です。項目ごとに 比べ、要約を返します:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}ルール:
- 採点する項目の集合は、正解レコードに現れるすべてのキーの和集合です(予測に項目がない場合、その項目は不正解として数えます)。
- 予測した値が正解の値と等しいとき、その項目は 正解 です。予測には
.get(field)を使い、キーがなくてもクラッシュせずにNoneとして比べられるようにします。 accuracyは、正解だった項目の合計を、比べた項目の合計(文書数 × 項目数)で割り、小数 4 桁に丸めたものです。- 空でも安全:
goldが空なら{"accuracy": 0.0, "per_field": {}, "n": 0}を返します -> 決してゼロで割りません。
使いたければ pandas で集計をすっきりさせられます -> 項目ごとの的中を DataFrame にして列を合計します -> ただ、ふつうの辞書のループを 2 つ書くのでも同じくらい良い方法です。ここではシードは使いません。まとまりは固定なので、正解率は採点側がぴったり確認できる数値になります。
これでドキュメントインテリジェンスサービスの一周が完成します。抽出 -> 修復 -> 検証 -> 突き合わせ -> 測定。「照合と項目単位の評価ハーネスを備えた、スキーマ検証付きの抽出パイプラインを作った」は、2 回目の面接につながる一文です。Run を押して、ラベル付きの小さなまとまりを採点してみましょう。
位置で対応する 2 つのレコード辞書のリストに対して evaluate(predictions, gold) を書いてください。正解レコードのキーの和集合にあるすべての項目を採点します。prediction.get(field) == gold[field] のとき項目は正解です(キーがなければ None として比べます)。{"accuracy", "per_field", "n"} を返します。accuracy は正解の合計を比べた項目の合計で割ったもの(小数 4 桁に丸める)、per_field[field] は {"correct", "total"}、n は文書の数です。gold が空なら {"accuracy": 0.0, "per_field": {}, "n": 0} を返します(ゼロ除算なし)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。