라벨 붙은 문서에 대한 묶음 평가
문서 하나를 파싱하고, 검증하고, 대조할 수 있어요. 채용 담당자가 실제로 묻는 질문은: 수천 개에 걸쳐서는 얼마나 좋나요? 진지한 ML과 데이터 팀이 모두 하는 방법으로 답해요 -> 평가로요. 손으로 라벨 붙인 문서 묶음(정답 세트)을 가져와 추출기를 돌리고, 각 필드가 얼마나 자주 맞게 나왔는지 재요. 평가가 없으면 신뢰도 없어요.
evaluate(predictions, gold)를 쓰세요. 둘 다 위치로 맞춘 같은 길이의 dict 리스트예요 -> predictions[i]는 진짜 답이 gold[i]인 문서에 대한 추출기의 출력이에요. 필드별로 비교하고 요약을 돌려주세요:
{
"accuracy": 0.83, # overall fraction of fields that matched
"per_field": { # correct count AND total per field
"vendor": {"correct": 5, "total": 6},
"total": {"correct": 4, "total": 6},
...
},
"n": 6 # number of documents compared
}규칙:
- 채점할 필드 집합은 정답 기록에서 본 모든 키의 합집합이에요. (예측에서 빠진 필드는 그 필드에서 틀린 걸로 쳐요.)
- 예측 값이 정답 값과 같으면 필드가 맞은 거예요. 빠진 키가 충돌 대신
None으로 비교되도록 예측에.get(field)를 쓰세요. accuracy는 맞은 필드 합계를 비교한 필드 합계(문서 곱하기 필드)로 나눈 것이고, 소수점 4자리로 반올림해요.- 빈 세트에 안전:
gold가 비면{"accuracy": 0.0, "per_field": {}, "n": 0}를 돌려주세요 -> 결코 0으로 나누지 마세요.
원하면 pandas가 장부 정리를 깔끔하게 해 줘요 -> 필드별 맞힘의 DataFrame을 만들고 열을 더해요 -> 하지만 평범한 dict 반복문 두어 개도 똑같이 좋아요. 여기서는 시드가 필요 없어요. 묶음이 고정되어 있으니 정확도는 채점기가 정확히 확인할 수 있는 숫자예요.
이게 문서 인텔리전스 서비스의 고리를 닫아요: 추출 -> 고치기 -> 검증 -> 대조 -> 측정. "대조와 필드 수준 평가 도구가 있는 스키마 검증 추출 파이프라인을 만들었어요"는 두 번째 면접을 따내는 문장이에요. Run을 눌러 라벨 붙은 작은 묶음을 채점하세요.
위치로 맞춘 기록 dict 리스트 두 개에 대해 evaluate(predictions, gold)를 쓰세요. 정답 기록 키의 합집합에 있는 모든 필드를 채점하세요. prediction.get(field) == gold[field]이면 필드가 맞아요(빠진 키는 None으로 비교돼요). accuracy는 맞은 수 합계를 비교한 필드 합계로 나눈 것(소수점 4자리 반올림), per_field[field]는 {"correct", "total"}, n은 문서 수인 {"accuracy", "per_field", "n"}를 돌려주세요. gold가 비면 {"accuracy": 0.0, "per_field": {}, "n": 0}를 돌려주세요(0으로 나누기 없음).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.