IA no Dispositivo (Sem Nuvem)
A maioria dos apps de IA envia seu texto para o servidor de uma empresa, que executa o modelo e envia a resposta de volta. Isso significa contas, API keys, faturas e seus dados saindo da sua máquina. A Floati recusa tudo isso.
Floati roda sua IA client-side, direto no seu navegador ou app, usando WebLLM sobre WebGPU. WebGPU é um padrão de navegador que permite ao código web usar a placa de vídeo do seu computador; WebLLM o usa para rodar um modelo de linguagem real (menor) localmente. Os pesos do modelo baixam uma vez, depois tudo acontece no seu dispositivo.
- Sem chaves, sem nuvem, sem conta. Nada para se cadastrar.
- Privado por design. Seus prompts nunca saem da máquina, o que combina com a promessa offline-first da Floati.
- Limites honest. Modelos on-device são menores e mais lentos que os gigantes hospedados, e eles precisam de um navegador capaz de WebGPU. O tradeoff é privacidade e custo zero.
Independentemente de qual modelo você converse, você fala com ele através de um prompt. Um hábito limpo e reutilizável é manter uma instrução de sistema (quem o modelo deve ser) separada da mensagem do usuário, e então montá-las em uma única string com um turno final claro para o modelo continuar:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Terminar em Assistant: sinaliza onde o modelo deve começar a escrever. Você vai construir esse template agora; a próxima lição o usa para realmente chamar o modelo no dispositivo.
Escreva build_prompt(system, user) que retorna uma única string neste formato exato: System: <system>, depois uma nova linha, User: <user>, uma nova linha, depois Assistant: com nada depois dele. Então defina prompt = build_prompt("You are concise.", "Summarize my week.").
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.