Token-F1 & ROUGE-stylige Oorklapping
Presiese ooreenstemming is wreed op enigiets langer as 'n etiket. Vra 'n model "Wie het die Mona Lisa verf en wanneer?" en die goue antwoord is "Leonardo da Vinci, rondom 1503". Die model sê "Dit is rondom 1503 deur Leonardo da Vinci verf." Presiese ooreenstemming gee dit 'n nul. Dit is duidelik 'n goeie antwoord. Vir vrye-teks antwoorde het jy partial-credit telling nodig, en die twee standaard gereedskap is token-F1 en ROUGE.
Token-F1 behandel elke antwoord as 'n tas vol woorde en vra hoeveel hulle ooreenstem. Maak dit klein, skei op spasies, en vergelyk die twee token-sets:
- precision = (tokens in both) / (tokens in the prediction) -> straf die byvoeg van rommel by die antwoord.
- recall = (tokens in both) / (tokens in the gold) -> straf vir die uitsluiting van die gold se woorde.
- F1 = die harmoniese gemiddelde,
2 * P * R / (P + R)-> een getal wat straf as jy swak aan enige kant is.
Identiese strings tel 1.0; antwoorde wat geen woorde deel nie, tel 0.0. Werk een by hand: voorspelling "the cat ran", goud "the dog sat". Die enigste gedeelde token is the, so presisie is 1/3, roeping is 1/3, en F1 is 1/3.
ROUGE-N is die metriek waarop die opsomming gegradeer word. In plaas van enkel woorde tel dit oorkomstige n-grams (sametekstuele reekse van n tokens) en rapporteer recall: van die n-grams in die gold, hoeveel verskyn in die voorspelling?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Vir goud "the cat sat on" en voorspelling "the cat sat": die goud se vier unigrams is the, cat, sat, on; drie verskyn, so ROUGE-1 is 3/4. Die goud se drie bigrams is (the,cat), (cat,sat), (sat,on); twee verskyn, so ROUGE-2 is 2/3. ROUGE-2 is gewoonlik laer as ROUGE-1 omdat die woord order om te pas moeiliker is as om woorde te pas, dit is presies waarom jy albei rapporteer.
Wat om te bou.
token_f1(pred, gold)-> die F1 oor kleinletter token sets; return0.0as een van die kante leeg is of as daar geen oorklapping is (deel nooit deur nul nie).rouge_n(pred, gold, n)-> die fraksie van die gold se n-grams wat in die voorspelling verskyn;0.0wanneer die gold geen n-grams het nie.
Hoe dit verskil van die biblioteek. Vir onderrigtelling tel ons oor token sets, so 'n herhaalde woord tel een keer. Produksietoken-F1 (die SQuAD-styl) gebruik multiset-telle, so dubbelopkomplings word gewig, en regte ROUGE voeg ROUGE-L by, wat die langste gemeenskaplike subsekuens tel eerder as vaste n-grams. Die idee is dieselfde; die produksieversies tel dubbelopkomplings en woordorde net meer versigtig.
Druk Run om 'n voorspelling teen 'n verwysing te tel.
Skryf token_f1(pred, gold) om die F1 van die twee kleinletter-token-sets te bereken (presisie = oorklap / voorspellings-tokens, roeping = oorklap / goud-tokens, F1 = die harmoniese gemiddelde), en gee 0.0 terug as een van die kante leeg is of as daar geen oorklap is nie. Skryf rouge_n(pred, gold, n) wat die breuk van die goud se n-grams (samet tuple van n-tokens) wat in die voorspelling verskyn teruggee, en gee 0.0 terug wanneer die goud geen n-grams het nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.