Che cosa ha imparato un modello sulle lettere
Perché è importante Nessuno dice a un modello linguistico che a ed e sono entrambe vocali. Se i suoi embedding le mettono comunque vicine, il modello l'ha scoperto solo dal testo. È il primo assaggio di "significato" appreso dai dati.
Per confrontare due embedding, usa la similarità coseno: il prodotto scalare diviso per entrambe le lunghezze. Vale 1 quando due vettori puntano nella stessa direzione, 0 quando non sono collegati (ad angolo retto), e meno 1 quando puntano in direzioni opposte. Ignora la lunghezza, che riflette soprattutto quanto spesso compare un simbolo.
Guarderai dentro il minuscolo GPT registrato del corso (il Modulo 13 lo costruisce). Ha letto solo il testo delle lezioni di questo corso, un carattere alla volta, con ogni carattere come una riga di 64 numeri.
Prima prevedi: quale gruppo di coppie di caratteri sarà in media il più simile: due vocali, una vocale e una consonante, o due cifre?
Parole e simboli di questa lezione
- embedding
- la riga di numeri appresi che rappresenta un simbolo
- similarità coseno
- prodotto scalare diviso per entrambe le lunghezze: 1 stessa direzione, 0 non collegati, -1 opposti
Imposta my_prediction su "vowels", "mixed" o "digits". Scrivi cosine(a, b) e nearest(ch, k) (i k altri caratteri con il coseno più alto rispetto a ch, dal migliore). Poi riempi group con il coseno medio su tutte le coppie di caratteri diversi dentro ogni gruppo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.