Conteúdo do curso Lição 110 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

O que é um LLM?

A large language model (LLM) como os que estão por trás dos assistentes de chat é, no fundo, um gigante preditor de próximo token. Alguns termos fazem tudo fazer sentido.

  • Tokens. O texto é dividido em pedaços chamados tokens, aproximadamente palavras ou fragmentos de palavras. O modelo lê e escreve tokens, não caracteres brutos. Uma regra geral: um token tem cerca de quatro caracteres de inglês.
  • Prediction. Dados os tokens até agora, o modelo gera uma probabilidade para cada próximo token possível. Ele escolhe um, anexa e repete. Esse laço é como ele escreve parágrafos inteiros.
  • Prompt. O texto que você insere. Tudo o que o modelo sabe sobre seu pedido está no prompt, então como você o escreve importa muito (próximas lições).
  • Temperature. Um botão na aleatoriedade dessa escolha. Perto de 0 o modelo quase sempre escolhe o token mais provável (focado, repetitivo). Valores mais altos deixam ele amostrar tokens menos prováveis (mais criativo, menos confiável). Modelos locais, como o do projeto final deste curso, ainda usam esse botão. Os modelos Claude hospedados mais novos não usam: eles definem sua própria amostragem e respondem a uma configuração de temperatura com um erro, então você guia a saída através do prompt.
  • Alucinação. Porque ele prevê texto plausível em vez de procurar fatos, um LLM pode afirmar coisas erradas com total confiança. Sempre verifique os fatos que ele te dá.

Tokenizadores reais são baseados em subpalavras e aprendidos a partir de dados. Não vamos construir isso aqui, mas podemos construir o tokenizador mais simples possível (dividir por espaços em branco) para sentir como é contar tokens. Contagens de tokens são como o uso e os limites são medidos.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Dividir por espaços em branco é apenas um substituto improvisado. Tokenizadores reais dividem em pedaços de subpalavras, então uma regra prática comum de Orçamento é tokens ≈ len(text) / 4 caracteres, e o código de produção lê a contagem exata do campo usage que a API retorna (ou um endpoint dedicado de contagem de tokens) em vez de adivinhar.

Modelos de raciocínio

Tudo acima descreve um modelo que emite sua resposta diretamente. Uma família mais nova, modelos de raciocínio, primeiro gasta um orçamento oculto de tokens de "pensamento" trabalhando no problema passo a passo, depois escreve a resposta final. Essa deliberação extra compra acurácia real em tarefas difíceis e de múltiplos passos (matemática, código, planejamento cuidadoso), e você geralmente tem um ajuste: um orçamento de esforço ou pensamento mais alto significa mais tokens de pensamento, mais latência e mais custo. O julgamento de engenharia é simplesmente quando vale a pena: use um modelo de raciocínio no passo genuinamente difícil, e use um modelo rápido e barato para os rotineiros. Você colocará exatamente esse tradeoff em prática mais tarde quando construir uma cascata consciente de custo que roteia requisições fáceis para o modelo barato e apenas escala as difíceis.

Sua vez

Escreva um tokenizer de espaços em branco simples. tokenize(text) retorna a lista de tokens separados por espaços em branco (use .split()). count_tokens(text) retorna quantos existem. Depois defina tokens = tokenize(sample) e n_tokens = count_tokens(sample).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.