O que um modelo aprendeu sobre letras
Por que isso importa Ninguém diz a um modelo de linguagem que a e e são vogais. Se os embeddings dele as colocam juntas de qualquer forma, o modelo descobriu isso apenas pelo texto. Este é o primeiro vislumbre de "significado" aprendido a partir de dados.
Para comparar dois embeddings, use cosine similarity: o produto escalar dividido por ambos os comprimentos. É 1 quando dois vetores apontam para a mesma direção, 0 quando não estão relacionados (em ângulos retos) e menos 1 quando apontam para direções opostas. Ele ignora o comprimento, que reflete principalmente a frequência com que um símbolo aparece.
Você vai olhar dentro do pequeno GPT gravado do curso (o Módulo 13 o constrói). Ele leu apenas o texto da lição deste curso, um caractere por vez, com cada caractere como uma linha de 64 números.
Preveja primeiro: qual grupo de pares de caracteres será o mais similar em média: duas vogais, uma vogal e uma consoante, ou dois dígitos?
Palavras e símbolos nesta lição
- embedding
- a linha de números aprendidos que representa um símbolo
- similaridade de cosseno
- produto escalar sobre ambos os comprimentos: 1 mesma direção, 0 não relacionados, -1 opostos
Defina my_prediction como "vowels", "mixed" ou "digits". Escreva cosine(a, b) e nearest(ch, k) (os k outros caracteres com o maior cosseno para ch, o melhor primeiro). Depois preencha group com a média do cosseno sobre todos os pares de caracteres diferentes dentro de cada grupo.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.