Conteúdo do curso Lição 111 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

IA no Dispositivo (Sem Nuvem)

A maioria dos apps de IA envia seu texto para o servidor de uma empresa, que executa o modelo e envia a resposta de volta. Isso significa contas, API keys, faturas e seus dados saindo da sua máquina. A Floati recusa tudo isso.

Floati roda sua IA client-side, direto no seu navegador ou app, usando WebLLM sobre WebGPU. WebGPU é um padrão de navegador que permite ao código web usar a placa de vídeo do seu computador; WebLLM o usa para rodar um modelo de linguagem real (menor) localmente. Os pesos do modelo baixam uma vez, depois tudo acontece no seu dispositivo.

  • Sem chaves, sem nuvem, sem conta. Nada para se cadastrar.
  • Privado por design. Seus prompts nunca saem da máquina, o que combina com a promessa offline-first da Floati.
  • Limites honest. Modelos on-device são menores e mais lentos que os gigantes hospedados, e eles precisam de um navegador capaz de WebGPU. O tradeoff é privacidade e custo zero.

Independentemente de qual modelo você converse, você fala com ele através de um prompt. Um hábito limpo e reutilizável é manter uma instrução de sistema (quem o modelo deve ser) separada da mensagem do usuário, e então montá-las em uma única string com um turno final claro para o modelo continuar:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Terminar em Assistant: sinaliza onde o modelo deve começar a escrever. Você vai construir esse template agora; a próxima lição o usa para realmente chamar o modelo no dispositivo.

Sua vez

Escreva build_prompt(system, user) que retorna uma única string neste formato exato: System: <system>, depois uma nova linha, User: <user>, uma nova linha, depois Assistant: com nada depois dele. Então defina prompt = build_prompt("You are concise.", "Summarize my week.").

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.