Gewichte, Daten oder Rechenleistung: was hält es zurück?
Warum das wichtig istMehr Geld für die falsche Sache auszugeben bringt nichts. Ein Modell ohne Daten verbessert sich nicht, wenn du es größer machst; ein winziges Modell verbessert sich nicht, wenn du ihm mehr gibst. Das Gitter zeigt beides, wenn du weißt, wo du suchen musst.
Schau entlang einer Reihe des Gitters (eine Breite, immer mehr Daten) und hinunter eine Spalte (eine Menge an Daten, immer breitere Modelle).
A run ist data-limited wenn das Modell breiter zu machen bei dieser Datenmenge kaum hilft (oder schadet). Es ist model-limited wenn mehr Daten bei dieser Breite kaum helfen.
Wörter und Symbole in dieser Lektion
- token
- hier, eine Vorhersage: ein Zeichen
- datenbegrenzt, modellbegrenzt
- wenn mehr Breite oder mehr Daten kaum helfen
Fülle gain_wider: für 8.000 tokens und für 1,5 Millionen tokens, der loss-abfall von width 256 zu width 1024. Fülle gain_more_data: für width 2 und für width 1024, der loss-abfall von 512.000 zu 1,5 Millionen tokens. Setze dann verdict für zwei Ecken: "data-limited" oder "model-limited".
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.