Klinik: ein gutes Modell schreibt schlecht
Warum das wichtig ist Ein trainiertes Modell kann immer noch Müll produzieren, wenn der Code drumherum falsch ist. Diese Fehler liegen im Sampling-Code, nicht in den Gewichten, und Leute trainieren tagelang neu, bevor sie dort nachsehen.
Jeder Fall unten verwendet dasselbe aufgezeichnete width-64 Modell, das bei temperature 0.8 vernünftigen Text schreibt. Jeder Fall hat einen Fehler in der Art, wie Text abgetastet oder dekodiert wird:
- too_cold: Temperatur nahe 0. Das Modell nimmt immer sein Lieblingszeichen als nächstes und fällt in eine Schleife.
- too_hot: Temperatur weit über 1. Die Verteilung wird abgeflacht, bis seltene Symbole so oft wie Buchstaben erscheinen.
- shifted_decode: die ids werden in Zeichen zurückverwandelt, wobei das Alphabet um eins verschoben ist, also liest sich eine feine Probe wie ein Code: jedes Leerzeichen wird zu "!".
Probes: sample(c) zeigt den Text; repeat_share(text) und space_share(text) messen ihn.
Fülle diagnosis und fixes für die Fälle A, B und C aus. Nach deiner Korrektur muss jede Einstellung mit der gesunden übereinstimmen, und die Probe muss wieder wie Text lesbar sein.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.