Programma Lezione 158 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Cancello: un transformer rotto (IA spenta)

Perché è importante È un'intera passata in avanti di un GPT scritta con il motore di casa, e ha due difetti. Sono entrambi classici, e ciascuno da solo ha ingannato team veri.

Tutor IA spento. Un difetto lascia vedere al modello i caratteri che dovrebbe prevedere. L'altro rende la pila molto più difficile da addestrare. Trovali e correggili entrambi.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
testa
una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Tocca a te

Correggi logits. Cambiare un carattere non deve cambiare nessuna previsione per le posizioni precedenti, e dopo 200 passi la loss media sugli ultimi 20 passi deve essere sotto 2.65.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.