토큰 F1과 ROUGE식 겹침
라벨보다 긴 것에는 정확 일치가 가혹해요. 모델에게 "Who painted the Mona Lisa and when?"을 물으면 정답은 "Leonardo da Vinci, around 1503"이에요. 모델은 "It was painted by Leonardo da Vinci in roughly 1503."이라고 해요. 정확 일치는 그걸 0점으로 매겨요. 분명히 좋은 답인데요. 자유 글 답에는 부분 점수 채점이 필요하고, 표준 도구 두 개가 토큰 F1과 ROUGE예요.
토큰 F1은 각 답을 단어 꾸러미로 보고 얼마나 겹치는지 물어요. 소문자로 바꾸고, 공백으로 나누고, 두 토큰 집합을 비교해요:
- 정밀도 = (둘 다에 있는 토큰) / (예측의 토큰) -> 쓸데없는 걸로 답을 부풀리면 벌을 받아요.
- 재현율 = (둘 다에 있는 토큰) / (정답의 토큰) -> 정답의 단어를 빠뜨리면 벌을 받아요.
- F1 = 조화 평균,
2 * P * R / (P + R)-> 어느 쪽이든 약하면 벌하는 숫자 하나.
똑같은 문자열은 1.0점이고, 단어를 하나도 공유하지 않는 답은 0.0점이에요. 손으로 하나 해 봐요: 예측 "the cat ran", 정답 "the dog sat". 공유하는 토큰은 the뿐이니, 정밀도는 1/3, 재현율은 1/3, F1은 1/3이에요.
ROUGE-N은 요약을 채점하는 지표예요. 단어 하나 대신 겹치는 n-그램(n개 토큰의 연속)을 세고 재현율을 알려요: 정답의 n-그램 중 몇 개가 예측에 나오나요?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]정답 "the cat sat on"과 예측 "the cat sat"에서: 정답의 유니그램 네 개는 the, cat, sat, on이고, 세 개가 나오니 ROUGE-1은 3/4예요. 정답의 바이그램 세 개는 (the,cat), (cat,sat), (sat,on)이고, 두 개가 나오니 ROUGE-2는 2/3예요. 단어 순서를 맞추는 게 단어를 맞추는 것보다 어려워서 ROUGE-2가 보통 ROUGE-1보다 낮고, 그래서 둘 다 알려요.
만들 것.
token_f1(pred, gold)-> 소문자 토큰 집합에 대한 F1. 어느 쪽이든 비었거나 겹침이 없으면0.0을 돌려줘요(결코 0으로 나누지 마세요).rouge_n(pred, gold, n)-> 정답의 n-그램 중 예측에 나오는 비율. 정답에 n-그램이 없으면0.0.
라이브러리와 어떻게 다른가. 가르치기 위해 토큰 집합으로 채점하니, 반복된 단어는 한 번만 세요. 실무 토큰 F1(SQuAD 방식)은 다중 집합 개수를 써서 중복에 가중치를 주고, 진짜 ROUGE는 고정된 n-그램 대신 가장 긴 공통 부분 수열을 채점하는 ROUGE-L을 더해요. 생각은 같아요. 실무 판은 중복과 단어 순서를 더 꼼꼼히 셀 뿐이에요.
Run을 눌러 예측을 참고 답과 비교해 채점하세요.
두 소문자 토큰 집합의 F1(정밀도 = 겹침 / 예측 토큰, 재현율 = 겹침 / 정답 토큰, F1 = 조화 평균)을 계산하고, 어느 쪽이든 비었거나 겹침이 없으면 0.0을 돌려주는 token_f1(pred, gold)를 쓰세요. 정답의 n-그램(연속된 n개 토큰의 튜플) 중 예측에 나오는 비율을 돌려주고, 정답에 n-그램이 없으면 0.0을 돌려주는 rouge_n(pred, gold, n)를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.