강의 계획 레슨 250개 중 222번째 · 프로젝트: 문서 인텔리전스 서비스
프로젝트: 문서 인텔리전스 서비스

라벨 붙은 문서에 대한 묶음 평가

문서 하나를 파싱하고, 검증하고, 대조할 수 있어요. 채용 담당자가 실제로 묻는 질문은: 수천 개에 걸쳐서는 얼마나 좋나요? 진지한 ML과 데이터 팀이 모두 하는 방법으로 답해요 -> 평가로요. 손으로 라벨 붙인 문서 묶음(정답 세트)을 가져와 추출기를 돌리고, 각 필드가 얼마나 자주 맞게 나왔는지 재요. 평가가 없으면 신뢰도 없어요.

evaluate(predictions, gold)를 쓰세요. 둘 다 위치로 맞춘 같은 길이의 dict 리스트예요 -> predictions[i]는 진짜 답이 gold[i]인 문서에 대한 추출기의 출력이에요. 필드별로 비교하고 요약을 돌려주세요:

{
  "accuracy": 0.83,          # overall fraction of fields that matched
  "per_field": {            # correct count AND total per field
    "vendor": {"correct": 5, "total": 6},
    "total":  {"correct": 4, "total": 6},
    ...
  },
  "n": 6                     # number of documents compared
}

규칙:

  • 채점할 필드 집합은 정답 기록에서 본 모든 키의 합집합이에요. (예측에서 빠진 필드는 그 필드에서 틀린 걸로 쳐요.)
  • 예측 값이 정답 값과 같으면 필드가 맞은 거예요. 빠진 키가 충돌 대신 None으로 비교되도록 예측에 .get(field)를 쓰세요.
  • accuracy는 맞은 필드 합계를 비교한 필드 합계(문서 곱하기 필드)로 나눈 것이고, 소수점 4자리로 반올림해요.
  • 빈 세트에 안전: gold가 비면 {"accuracy": 0.0, "per_field": {}, "n": 0}를 돌려주세요 -> 결코 0으로 나누지 마세요.

원하면 pandas가 장부 정리를 깔끔하게 해 줘요 -> 필드별 맞힘의 DataFrame을 만들고 열을 더해요 -> 하지만 평범한 dict 반복문 두어 개도 똑같이 좋아요. 여기서는 시드가 필요 없어요. 묶음이 고정되어 있으니 정확도는 채점기가 정확히 확인할 수 있는 숫자예요.

이게 문서 인텔리전스 서비스의 고리를 닫아요: 추출 -> 고치기 -> 검증 -> 대조 -> 측정. "대조와 필드 수준 평가 도구가 있는 스키마 검증 추출 파이프라인을 만들었어요"는 두 번째 면접을 따내는 문장이에요. Run을 눌러 라벨 붙은 작은 묶음을 채점하세요.

내 차례

위치로 맞춘 기록 dict 리스트 두 개에 대해 evaluate(predictions, gold)를 쓰세요. 정답 기록 키의 합집합에 있는 모든 필드를 채점하세요. prediction.get(field) == gold[field]이면 필드가 맞아요(빠진 키는 None으로 비교돼요). accuracy는 맞은 수 합계를 비교한 필드 합계로 나눈 것(소수점 4자리 반올림), per_field[field]는 {"correct", "total"}, n은 문서 수인 {"accuracy", "per_field", "n"}를 돌려주세요. gold가 비면 {"accuracy": 0.0, "per_field": {}, "n": 0}를 돌려주세요(0으로 나누기 없음).

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.