Conteúdo do curso Lição 88 de 156 · IA privada
IA privada

Modelos no dispositivo

Por que isso importa Um modelo no dispositivo responde sem que as suas palavras jamais saiam do seu computador ou celular. Isso transforma "confie em nós com os seus dados" em "nós nunca tivemos os seus dados". É assim que o polimento por IA do CV Builder e o tutor deste curso funcionam, e você mesmo pode conferir.

O chef na sua cozinha

Uma IA na nuvem é como um restaurante: você entrega o pedido a um garçom e o preparo acontece longe da sua vista. Um modelo no dispositivo é como trazer o chef para a sua cozinha. O chef precisa vir até você uma vez (esse é o download), mas depois disso toda refeição é feita em casa, e ninguém mais vê o que você come.

Modelo: um arquivo grande de números (chamados pesos) mais o código que os usa para prever as próximas palavras de um texto. "Rodar um modelo" significa fazer muita matemática com esses números.

Modelo no dispositivo: um modelo cujos pesos são baixados para o seu dispositivo e rodam ali, usando o seu próprio processador ou chip gráfico. O seu prompt e a resposta ficam no dispositivo.

Como funciona num navegador

O Floati usa o WebLLM, uma biblioteca de código aberto que roda modelos de linguagem dentro de uma página web. Três peças fazem isso funcionar:

  • WebGPU, um recurso do navegador que deixa uma página usar o seu chip gráfico (GPU) para matemática rápida. Os modelos de linguagem precisam de muita matemática, e é isso que os torna usáveis numa aba.
  • Um modelo pequeno e comprimido. O tutor do curso e o CV Builder usam um pequeno modelo que segue instruções, com cerca de meio bilhão de parâmetros, comprimido para caber num navegador (verificado em outubro de 2026).
  • O cache do navegador, que guarda os pesos baixados para que a próxima visita comece bem mais rápido.

Parâmetros: os números individuais dentro de um modelo. Mais parâmetros costumam significar um modelo mais capaz, e um download maior.

Quantização: guardar cada número com menos bits (por exemplo 4 bits em vez de 16 ou 32). Como salvar uma foto com qualidade menor: bem menor, um pouco menos nítida.

O que viaja pela rede

A honestidade importa aqui. Usar um modelo no dispositivo não é "nenhuma rede". Duas coisas são baixadas:

  1. O código da biblioteca que roda o modelo.
  2. Os pesos do modelo, que têm centenas de megabytes, baixados uma vez e depois guardados em cache.

Os dois são downloads para você. O que nunca é enviado é o seu lado: as perguntas que você faz e o texto que você cola. O servidor que hospeda os pesos fica sabendo que alguém baixou um modelo, como no download de qualquer arquivo, mas nunca vê a sua conversa.

Os prós e contras

Modelo na nuvemModelo no dispositivo
Quem vê o seu textoO provedorSó o seu dispositivo
QualidadeNormalmente bem mais forteBom em tarefas pequenas e focadas
Primeiro usoInstantâneoUm download grande, uma única vez
Precisa deUma conexão com a internetUm navegador com WebGPU e memória suficiente
Funciona offlineNãoSim, depois de baixado

O WebGPU está disponível nas versões atuais para computador do Chrome, do Edge e do Safari, e no Firefox em alguns sistemas (verificado em outubro de 2026). Em dispositivos mais antigos ou com pouca memória, o modelo pode nem carregar, e é por isso que o CV Builder do Floati também tem um sugeridor simples baseado em regras, que não precisa de modelo. Seja claro sobre a diferença: esse sugeridor roda no próprio servidor do Floati, então o texto do seu currículo é enviado para lá, embora nunca para uma empresa de IA.

Um equívoco comum

"Modelos pequenos são inúteis." Um modelo de meio bilhão de parâmetros não vai escrever o seu romance, mas é bom em tarefas restritas: reescrever uma frase, dar uma dica, resumir um parágrafo. Para muitas tarefas privadas, um pequeno modelo local é a ferramenta certa, e um modelo gigante na nuvem é um exagero que custa os seus dados.

Experimente Abra uma lição com o tutor e abra o DevTools do seu navegador (F12, ou Cmd+Option+I no Mac), depois a aba Network. Inicie o tutor: você vai ver downloads grandes para o modelo. Depois que ele carregar, limpe a lista e faça uma pergunta ao tutor. Observe a lista: talvez você veja um pequeno contador de páginas, mas nenhuma requisição leva a sua pergunta ou o seu código.

Resumo

  • Um modelo no dispositivo roda no seu próprio hardware, então os seus prompts e respostas nunca saem do dispositivo.
  • Num navegador, isso usa WebGPU, um pequeno modelo quantizado e o cache; o tutor e o CV Builder do Floati usam o WebLLM desse jeito.
  • O código e os pesos são baixados para você uma vez; o seu texto nunca é enviado.
  • O custo é uma qualidade menor, um primeiro download grande e requisitos do dispositivo.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.