Programma Lezione 135 di 246 · Modulo 12: Parole come numeri (embedding)
Modulo 12: Parole come numeri (embedding)

Che cosa ha imparato un modello sulle lettere

Perché è importante Nessuno dice a un modello linguistico che a ed e sono entrambe vocali. Se i suoi embedding le mettono comunque vicine, il modello l'ha scoperto solo dal testo. È il primo assaggio di "significato" appreso dai dati.

Per confrontare due embedding, usa la similarità coseno: il prodotto scalare diviso per entrambe le lunghezze. Vale 1 quando due vettori puntano nella stessa direzione, 0 quando non sono collegati (ad angolo retto), e meno 1 quando puntano in direzioni opposte. Ignora la lunghezza, che riflette soprattutto quanto spesso compare un simbolo.

Guarderai dentro il minuscolo GPT registrato del corso (il Modulo 13 lo costruisce). Ha letto solo il testo delle lezioni di questo corso, un carattere alla volta, con ogni carattere come una riga di 64 numeri.

Prima prevedi: quale gruppo di coppie di caratteri sarà in media il più simile: due vocali, una vocale e una consonante, o due cifre?

Parole e simboli di questa lezione
embedding
la riga di numeri appresi che rappresenta un simbolo
similarità coseno
prodotto scalare diviso per entrambe le lunghezze: 1 stessa direzione, 0 non collegati, -1 opposti
Tocca a te

Imposta my_prediction su "vowels", "mixed" o "digits". Scrivi cosine(a, b) e nearest(ch, k) (i k altri caratteri con il coseno più alto rispetto a ch, dal migliore). Poi riempi group con il coseno medio su tutte le coppie di caratteri diversi dentro ogni gruppo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.