Una sonda ha bisogno di un controllo
Perché è importante Una sonda (un piccolo classificatore lineare addestrato sui vettori interni di un modello) è lo strumento più comune dell'interpretabilità, e il più sovrainterpretato. Un'accuratezza alta può voler dire che il modello ha calcolato la cosa, oppure che l'ha calcolata la sonda.
Hai incontrato le sonde lineari nel Modulo 18. Qui, addestrane una sui vettori del GPT in due punti: 'embed' (l'embedding del carattere più la sua posizione, prima di qualsiasi layer) e 'resid1' (dopo il primo blocco). Tre domande, ognuna un'etichetta 0/1 per ogni carattere:
'vowel': questo carattere è una vocale?'control': è uno tra b, c, g, n, r, s, t? Un raggruppamento che non significa niente, scelto per essere frequente quanto le vocali (28.7% dei caratteri, contro 28.8%).'third letter': è la terza lettera della sua parola, o una successiva?
Prima prevedi: se la sonda delle vocali ottiene quasi il 100%, questo dimostra che il modello ha imparato che cos'è una vocale?
Parole e simboli di questa lezione
- interpretabilità
- scoprire che cosa calcola dentro una rete addestrata, e controllarlo
- sonda
- un piccolo classificatore lineare addestrato a leggere qualcosa dai vettori interni di un modello
Imposta my_guess su "yes" o "no". Riempi scores[kind][site] con probe(site, kind) per i tre tipi e i due punti. Poi imposta computed sull'unico tipo la cui sonda mostra qualcosa che il layer ha calcolato (è molto più facile dopo il blocco che dal solo embedding).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.