O que é um LLM?
A large language model (LLM) como os que estão por trás dos assistentes de chat é, no fundo, um gigante preditor de próximo token. Alguns termos fazem tudo fazer sentido.
- Tokens. O texto é dividido em pedaços chamados tokens, aproximadamente palavras ou fragmentos de palavras. O modelo lê e escreve tokens, não caracteres brutos. Uma regra geral: um token tem cerca de quatro caracteres de inglês.
- Prediction. Dados os tokens até agora, o modelo gera uma probabilidade para cada próximo token possível. Ele escolhe um, anexa e repete. Esse laço é como ele escreve parágrafos inteiros.
- Prompt. O texto que você insere. Tudo o que o modelo sabe sobre seu pedido está no prompt, então como você o escreve importa muito (próximas lições).
- Temperature. Um botão na aleatoriedade dessa escolha. Perto de
0o modelo quase sempre escolhe o token mais provável (focado, repetitivo). Valores mais altos deixam ele amostrar tokens menos prováveis (mais criativo, menos confiável). Modelos locais, como o do projeto final deste curso, ainda usam esse botão. Os modelos Claude hospedados mais novos não usam: eles definem sua própria amostragem e respondem a uma configuração de temperatura com um erro, então você guia a saída através do prompt. - Alucinação. Porque ele prevê texto plausível em vez de procurar fatos, um LLM pode afirmar coisas erradas com total confiança. Sempre verifique os fatos que ele te dá.
Tokenizadores reais são baseados em subpalavras e aprendidos a partir de dados. Não vamos construir isso aqui, mas podemos construir o tokenizador mais simples possível (dividir por espaços em branco) para sentir como é contar tokens. Contagens de tokens são como o uso e os limites são medidos.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']Dividir por espaços em branco é apenas um substituto improvisado. Tokenizadores reais dividem em pedaços de subpalavras, então uma regra prática comum de Orçamento é tokens ≈ len(text) / 4 caracteres, e o código de produção lê a contagem exata do campo usage que a API retorna (ou um endpoint dedicado de contagem de tokens) em vez de adivinhar.
Modelos de raciocínio
Tudo acima descreve um modelo que emite sua resposta diretamente. Uma família mais nova, modelos de raciocínio, primeiro gasta um orçamento oculto de tokens de "pensamento" trabalhando no problema passo a passo, depois escreve a resposta final. Essa deliberação extra compra acurácia real em tarefas difíceis e de múltiplos passos (matemática, código, planejamento cuidadoso), e você geralmente tem um ajuste: um orçamento de esforço ou pensamento mais alto significa mais tokens de pensamento, mais latência e mais custo. O julgamento de engenharia é simplesmente quando vale a pena: use um modelo de raciocínio no passo genuinamente difícil, e use um modelo rápido e barato para os rotineiros. Você colocará exatamente esse tradeoff em prática mais tarde quando construir uma cascata consciente de custo que roteia requisições fáceis para o modelo barato e apenas escala as difíceis.
Escreva um tokenizer de espaços em branco simples. tokenize(text) retorna a lista de tokens separados por espaços em branco (use .split()). count_tokens(text) retorna quantos existem. Depois defina tokens = tokenize(sample) e n_tokens = count_tokens(sample).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.