Projeto Final de IA: seu código move um LLM no dispositivo
Este é o projeto final, e você é o arquiteto. Todo o percurso foi construído para uma ideia: seu Python orquestra o modelo. O LLM é apenas um componente que você chama -> seu código decide quais dados ele vê, como a requisição é moldada e o que acontece quando nenhum modelo está carregado. Você vai construir essa orquestração a partir de um arquivo quase vazio.
Cada funcionalidade real de IA é o mesmo laço. Seu código faz o trabalho confiável, o modelo faz a redação:
- Calcule os fatos no pandas. O código é exato em aritmética; um modelo não é. Então a contagem de linhas, total, média e categoria principal vêm de um DataFrame, nunca do LLM. Esta é a única maneira de evitar números alucinados.
- Modele a solicitação você mesmo. Um modelo de prompt reutilizável mantém a instrução do sistema (quem o modelo deve ser) separada da mensagem do usuário (o que ele deve fazer), depois os monta em uma única string que termina em um marcador de turno para que o modelo saiba onde começar a escrever.
- Sempre tenha um caminho offline.O modelo no dispositivo precisa de WebGPU e é não-determinístico, então você também escreve um gerador baseado em regras que transforma os mesmos fatos em uma frase. O recurso funciona mesmo sem nenhum modelo.
O que você vai construir
Duas funções, do zero. build_prompt(system, user) retorna uma string limpa que contém ambas as partes e termina em Assistant:. insight(df) calcula as estatísticas em uma tabela de gastos incorporada e retorna uma linha em inglês simples que nomeia sua maior categoria e o total. Uma pequena spend_stats(df) helper faz o trabalho do pandas para que tanto o relatório quanto o insight leiam os mesmos números.
O passo da IA (tente no app)
Floati roda seu modelo client-side com WebLLM em WebGPU -> sem conta, sem chave, sem nuvem, seus prompts nunca saem da máquina. O app conecta um único motor compartilhado em window._floatiTutor. Assim que você construir build_prompt, esta é a chamada real (ela vive fora do avaliador porque precisa de uma GPU e é não-determinística):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Note que o modelo só vê a string report que seu Python produziu -> os números já estão corretos antes do modelo falar. Pressione Run para ver seu pipeline offline imprimir suas estatísticas e seu insight baseado em regras; esse relatório impresso é exatamente o que você entregaria ao modelo acima. O avaliador verifica o formato do seu prompt e seu insight determinístico, nunca qualquer saída do modelo.
Construa a orquestração. O DataFrame de gastos df está embutido para você (10 linhas, colunas category e amount). Escreva três coisas: (1) spend_stats(df) -> um dicionário com chaves rows, total, average, top_category, top_amount (totais/médias arredondados para 2 decimais, categoria principal por valor somado); (2) build_prompt(system, user) -> uma string que contém tanto system quanto user e ends em Assistant: para que o modelo continue a partir dali; (3) insight(df) -> uma string em inglês simples não vazia (o fallback baseado em regras) que nomeia a categoria principal e mostra um TOTAL: <amount> com dinheiro de 2 decimais. Depois defina report = insight(df) e print(report).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.