Cancello: un transformer rotto (IA spenta)
Perché è importante È un'intera passata in avanti di un GPT scritta con il motore di casa, e ha due difetti. Sono entrambi classici, e ciascuno da solo ha ingannato team veri.
Tutor IA spento. Un difetto lascia vedere al modello i caratteri che dovrebbe prevedere. L'altro rende la pila molto più difficile da addestrare. Trovali e correggili entrambi.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
Correggi logits. Cambiare un carattere non deve cambiare nessuna previsione per le posizioni precedenti, e dopo 200 passi la loss media sugli ultimi 20 passi deve essere sotto 2.65.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.