Programma Les 162 van 246 · Module 14: Trainingskliniek II
Module 14: Trainingskliniek II

Clinic: een goed model dat slecht schrijft

Waarom dit ertoe doet Een getraind model kan nog steeds troep produceren als de code eromheen fout is. Deze fouten zitten in de sampling code, niet in de weights, en mensen trainen dagenlang opnieuw voordat ze daar kijken.

Elk geval hieronder gebruikt hetzelfde opgenomen width-64 model, dat redelijke tekst schrijft bij temperature 0.8. Elk geval heeft één fout in hoe tekst wordt gesampled of gedecodeerd:

  • too_cold: temperatuur dicht bij 0. Het model kiest altijd zijn favoriete volgende karakter en valt in een lus.
  • too_hot: temperatuur ver boven 1. De verdeling wordt afgevlakt totdat zeldzame symbolen net zo vaak voorkomen als letters.
  • shifted_decode: de ids worden teruggezet naar karakters met het alfabet met één verschoven, dus een fijn voorbeeld leest als een code: elke spatie wordt "!".

Probes: sample(c) toont de tekst; repeat_share(text) en space_share(text) meten het.

Jij bent aan de beurt

Vul diagnosis en fixes in voor gevallen A, B en C. Na je aanpassing moet elke instelling overeenkomen met de gezonde versie, en de sample moet weer als tekst leesbaar zijn.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.