Programma Lezione 219 di 246 · Modulo 21: Guardare dentro un modello
Modulo 21: Guardare dentro un modello

Una sonda ha bisogno di un controllo

Perché è importante Una sonda (un piccolo classificatore lineare addestrato sui vettori interni di un modello) è lo strumento più comune dell'interpretabilità, e il più sovrainterpretato. Un'accuratezza alta può voler dire che il modello ha calcolato la cosa, oppure che l'ha calcolata la sonda.

Hai incontrato le sonde lineari nel Modulo 18. Qui, addestrane una sui vettori del GPT in due punti: 'embed' (l'embedding del carattere più la sua posizione, prima di qualsiasi layer) e 'resid1' (dopo il primo blocco). Tre domande, ognuna un'etichetta 0/1 per ogni carattere:

  • 'vowel': questo carattere è una vocale?
  • 'control': è uno tra b, c, g, n, r, s, t? Un raggruppamento che non significa niente, scelto per essere frequente quanto le vocali (28.7% dei caratteri, contro 28.8%).
  • 'third letter': è la terza lettera della sua parola, o una successiva?

Prima prevedi: se la sonda delle vocali ottiene quasi il 100%, questo dimostra che il modello ha imparato che cos'è una vocale?

Parole e simboli di questa lezione
interpretabilità
scoprire che cosa calcola dentro una rete addestrata, e controllarlo
sonda
un piccolo classificatore lineare addestrato a leggere qualcosa dai vettori interni di un modello
Tocca a te

Imposta my_guess su "yes" o "no". Riempi scores[kind][site] con probe(site, kind) per i tre tipi e i due punti. Poi imposta computed sull'unico tipo la cui sonda mostra qualcosa che il layer ha calcolato (è molto più facile dopo il blocco che dal solo embedding).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.