Conteúdo do curso Lição 135 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

O que um modelo aprendeu sobre letras

Por que isso importa Ninguém diz a um modelo de linguagem que a e e são vogais. Se os embeddings dele as colocam juntas de qualquer forma, o modelo descobriu isso apenas pelo texto. Este é o primeiro vislumbre de "significado" aprendido a partir de dados.

Para comparar dois embeddings, use cosine similarity: o produto escalar dividido por ambos os comprimentos. É 1 quando dois vetores apontam para a mesma direção, 0 quando não estão relacionados (em ângulos retos) e menos 1 quando apontam para direções opostas. Ele ignora o comprimento, que reflete principalmente a frequência com que um símbolo aparece.

Você vai olhar dentro do pequeno GPT gravado do curso (o Módulo 13 o constrói). Ele leu apenas o texto da lição deste curso, um caractere por vez, com cada caractere como uma linha de 64 números.

Preveja primeiro: qual grupo de pares de caracteres será o mais similar em média: duas vogais, uma vogal e uma consoante, ou dois dígitos?

Palavras e símbolos nesta lição
embedding
a linha de números aprendidos que representa um símbolo
similaridade de cosseno
produto escalar sobre ambos os comprimentos: 1 mesma direção, 0 não relacionados, -1 opostos
Sua vez

Defina my_prediction como "vowels", "mixed" ou "digits". Escreva cosine(a, b) e nearest(ch, k) (os k outros caracteres com o maior cosseno para ch, o melhor primeiro). Depois preencha group com a média do cosseno sobre todos os pares de caracteres diferentes dentro de cada grupo.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.