Tokens: mesclando os pares mais comuns
Por que isso importa Modelos reais não leem caracteres ou palavras inteiras. Eles leem tokens, pedaços no meio, feitos por uma regra de contagem simples. É por isso que um modelo "vê" uma palavra comum como um pedaço e uma rara como vários.
Byte pair encoding (BPE) começa com caracteres únicos e repete um passo: encontrar o par de símbolos vizinhos que aparece mais vezes no texto e colá-lo em um novo símbolo em todos os lugares.
Exemplo pequeno
Palavras "low" (5 vezes) e "lot" (2 vezes). Pares: l o aparece 7 vezes, o w 5, o t 2. Mescle l o: agora "lo w" e "lo t". Em seguida, lo w aparece 5 vezes: mescle isso, e "low" é um único token.
Tokenizadores reais adicionam duas coisas que esta lição deixa de fora. Eles começam a partir de bytes em vez de caracteres, então qualquer texto em qualquer língua, incluindo emojis, pode ser escrito com um início de 256 símbolos. E eles marcam onde as palavras começam (o GPT-2 cola o espaço na frente da próxima palavra), então um pedaço no início de uma palavra e as mesmas letras dentro de uma palavra se tornam tokens diferentes. Caracteres por palavra é o custo de ler caractere por caractere. Tokens por palavra cai conforme as mesclagens são adicionadas: menos, passos maiores para o modelo, ao preço de um vocabulário maior.
Palavras e símbolos nesta lição
- token, BPE
- um pedaço de texto que o modelo lê; o byte pair encoding cola o par vizinho mais comum, repetidamente
Escreva pair_counts(vocab) (com que frequência cada par vizinho aparece, ponderado pela contagem de palavras) e merge(vocab, pair) (cole esse par em todos os lugares). Adivinhe my_guess, os tokens por palavra após 200 merges (começa em cerca de 4.6). O loop é escrito para você.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.