Programma Lezione 241 di 246 · Modulo 23: Studio del progetto finale: una model card che puoi eseguire
Modulo 23: Studio del progetto finale: una model card che puoi eseguire

Valutazione sui dati tenuti da parte, con barre d'errore

Perché è importante Ogni scelta che hai fatto ha guardato il punteggio di validazione, quindi ora è un po' ottimista. Una sola valutazione su dati che non hai mai guardato, con barre d'errore, è il numero che puoi riportare.

Scegli le tue impostazioni FINAL a partire da ciò che hanno mostrato le tue ablazioni, al massimo 4 costi di baseline. Addestrala con il seed 0. Poi valutala una volta sull'insieme di test nascosto: track.score(model, hidden=True, per_item=True) dà un numero per ogni elemento di test, e studio.interval(items) la media e un intervallo bootstrap al 95%.

L'insieme nascosto è dentro questa pagina, quindi è nascosto, non sigillato: potresti guardarlo. Il certificato del corso non si basa sulla sua segretezza; la tua card sì, quindi guardalo una volta sola, alla fine.

Soglie per superare (il piano di default le supera entrambe): language, media almeno -2.72; images, almeno 0.42.

Parole e simboli di questa lezione
baseline
l'esecuzione semplice rispetto a cui si misura ogni cambiamento, sugli stessi seed
ablazione
un solo cambiamento rispetto alla baseline, eseguito su diversi seed, per vedere che cosa fa
insieme di test nascosto
dati valutati una sola volta, alla fine, dopo che ogni scelta è stata fatta
Tocca a te

Imposta FINAL, addestra final, e riempi validation (il suo punteggio di validazione), hidden (media, minimo, massimo) e gap (validazione meno media nascosta).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.