Assista: Como o texto se torna números
Antes de um LLM fazer qualquer coisa com o seu prompt, ele precisa transformar seu texto em números, porque uma rede neural só faz matemática com números. O passo que faz isso é tokenization.
Dê o play. Veja uma única palavra ser dividida em tokens (pedaços frequentes de texto, muitas vezes subpalavras, não palavras inteiras), e veja cada token se tornar um integer id do vocabulário do modelo. Depois disso, o modelo nunca mais vê letras, apenas uma list de ids.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.