Conteúdo do curso Lição 136 de 246 · Módulo 12: Palavras como números (embeddings)
Módulo 12: Palavras como números (embeddings)

Tokens: mesclando os pares mais comuns

Por que isso importa Modelos reais não leem caracteres ou palavras inteiras. Eles leem tokens, pedaços no meio, feitos por uma regra de contagem simples. É por isso que um modelo "vê" uma palavra comum como um pedaço e uma rara como vários.

Byte pair encoding (BPE) começa com caracteres únicos e repete um passo: encontrar o par de símbolos vizinhos que aparece mais vezes no texto e colá-lo em um novo símbolo em todos os lugares.

Exemplo pequeno

Palavras "low" (5 vezes) e "lot" (2 vezes). Pares: l o aparece 7 vezes, o w 5, o t 2. Mescle l o: agora "lo w" e "lo t". Em seguida, lo w aparece 5 vezes: mescle isso, e "low" é um único token.

Tokenizadores reais adicionam duas coisas que esta lição deixa de fora. Eles começam a partir de bytes em vez de caracteres, então qualquer texto em qualquer língua, incluindo emojis, pode ser escrito com um início de 256 símbolos. E eles marcam onde as palavras começam (o GPT-2 cola o espaço na frente da próxima palavra), então um pedaço no início de uma palavra e as mesmas letras dentro de uma palavra se tornam tokens diferentes. Caracteres por palavra é o custo de ler caractere por caractere. Tokens por palavra cai conforme as mesclagens são adicionadas: menos, passos maiores para o modelo, ao preço de um vocabulário maior.

Palavras e símbolos nesta lição
token, BPE
um pedaço de texto que o modelo lê; o byte pair encoding cola o par vizinho mais comum, repetidamente
Sua vez

Escreva pair_counts(vocab) (com que frequência cada par vizinho aparece, ponderado pela contagem de palavras) e merge(vocab, pair) (cole esse par em todos os lugares). Adivinhe my_guess, os tokens por palavra após 200 merges (começa em cerca de 4.6). O loop é escrito para você.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.