Lehrplan Lektion 162 von 246 · Modul 14: Run Clinic II
Modul 14: Run Clinic II

Klinik: ein gutes Modell schreibt schlecht

Warum das wichtig ist Ein trainiertes Modell kann immer noch Müll produzieren, wenn der Code drumherum falsch ist. Diese Fehler liegen im Sampling-Code, nicht in den Gewichten, und Leute trainieren tagelang neu, bevor sie dort nachsehen.

Jeder Fall unten verwendet dasselbe aufgezeichnete width-64 Modell, das bei temperature 0.8 vernünftigen Text schreibt. Jeder Fall hat einen Fehler in der Art, wie Text abgetastet oder dekodiert wird:

  • too_cold: Temperatur nahe 0. Das Modell nimmt immer sein Lieblingszeichen als nächstes und fällt in eine Schleife.
  • too_hot: Temperatur weit über 1. Die Verteilung wird abgeflacht, bis seltene Symbole so oft wie Buchstaben erscheinen.
  • shifted_decode: die ids werden in Zeichen zurückverwandelt, wobei das Alphabet um eins verschoben ist, also liest sich eine feine Probe wie ein Code: jedes Leerzeichen wird zu "!".

Probes: sample(c) zeigt den Text; repeat_share(text) und space_share(text) messen ihn.

Du bist dran

Fülle diagnosis und fixes für die Fälle A, B und C aus. Nach deiner Korrektur muss jede Einstellung mit der gesunden übereinstimmen, und die Probe muss wieder wie Text lesbar sein.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.