Conteúdo do curso Lição 113 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Projeto Final de IA: seu código move um LLM no dispositivo

Este é o projeto final, e você é o arquiteto. Todo o percurso foi construído para uma ideia: seu Python orquestra o modelo. O LLM é apenas um componente que você chama -> seu código decide quais dados ele vê, como a requisição é moldada e o que acontece quando nenhum modelo está carregado. Você vai construir essa orquestração a partir de um arquivo quase vazio.

Cada funcionalidade real de IA é o mesmo laço. Seu código faz o trabalho confiável, o modelo faz a redação:

  • Calcule os fatos no pandas. O código é exato em aritmética; um modelo não é. Então a contagem de linhas, total, média e categoria principal vêm de um DataFrame, nunca do LLM. Esta é a única maneira de evitar números alucinados.
  • Modele a solicitação você mesmo. Um modelo de prompt reutilizável mantém a instrução do sistema (quem o modelo deve ser) separada da mensagem do usuário (o que ele deve fazer), depois os monta em uma única string que termina em um marcador de turno para que o modelo saiba onde começar a escrever.
  • Sempre tenha um caminho offline.O modelo no dispositivo precisa de WebGPU e é não-determinístico, então você também escreve um gerador baseado em regras que transforma os mesmos fatos em uma frase. O recurso funciona mesmo sem nenhum modelo.

O que você vai construir

Duas funções, do zero. build_prompt(system, user) retorna uma string limpa que contém ambas as partes e termina em Assistant:. insight(df) calcula as estatísticas em uma tabela de gastos incorporada e retorna uma linha em inglês simples que nomeia sua maior categoria e o total. Uma pequena spend_stats(df) helper faz o trabalho do pandas para que tanto o relatório quanto o insight leiam os mesmos números.

O passo da IA (tente no app)

Floati roda seu modelo client-side com WebLLM em WebGPU -> sem conta, sem chave, sem nuvem, seus prompts nunca saem da máquina. O app conecta um único motor compartilhado em window._floatiTutor. Assim que você construir build_prompt, esta é a chamada real (ela vive fora do avaliador porque precisa de uma GPU e é não-determinística):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

Note que o modelo só vê a string report que seu Python produziu -> os números já estão corretos antes do modelo falar. Pressione Run para ver seu pipeline offline imprimir suas estatísticas e seu insight baseado em regras; esse relatório impresso é exatamente o que você entregaria ao modelo acima. O avaliador verifica o formato do seu prompt e seu insight determinístico, nunca qualquer saída do modelo.

Sua vez

Construa a orquestração. O DataFrame de gastos df está embutido para você (10 linhas, colunas category e amount). Escreva três coisas: (1) spend_stats(df) -> um dicionário com chaves rows, total, average, top_category, top_amount (totais/médias arredondados para 2 decimais, categoria principal por valor somado); (2) build_prompt(system, user) -> uma string que contém tanto system quanto user e ends em Assistant: para que o modelo continue a partir dali; (3) insight(df) -> uma string em inglês simples não vazia (o fallback baseado em regras) que nomeia a categoria principal e mostra um TOTAL: <amount> com dinheiro de 2 decimais. Depois defina report = insight(df) e print(report).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.