Silabus Pelajaran 113 dari 250 · Intuisi Neural-Net, LLM & Capstone AI
Intuisi Neural-Net, LLM & Capstone AI

Capstone AI: kodemu menjalankan LLM di perangkat

Ini adalah proyek akhir, dan kamu adalah arsiteknya. Seluruh materi telah membangun menuju satu ide: Python kamu mengatur model. LLM hanyalah satu komponen yang kamu panggil -> kode kamu memutuskan data apa yang ia lihat, bagaimana permintaan dibentuk, dan apa yang terjadi saat tidak ada model yang dimuat. Kamu akan membangun orkestrasi itu dari file yang hampir kosong.

Setiap fitur AI yang nyata adalah loop yang sama. Kode kamu melakukan pekerjaan yang dapat diandalkan, model melakukan penyusunan kata:

  • Hitung fakta di pandas. Kode itu tepat dalam aritmatika; model tidak. Jadi jumlah baris, total, rata-rata, dan kategori teratas berasal dari DataFrame, bukan dari LLM. Ini satu-satunya cara untuk menghindari angka halusinasi.
  • Buat permintaanmu sendiri. Template prompt yang bisa dipakai ulang memisahkan instruksi sistem (siapa model tersebut) dari pesan pengguna (apa yang harus dilakukan), lalu menggabungkannya menjadi satu string yang diakhiri dengan penanda giliran agar model tahu di mana harus mulai menulis.
  • Selalu siapkan jalur offline. Model di perangkat butuh WebGPU dan tidak deterministik, jadi kamu juga harus menulis generator berbasis aturan yang mengubah fakta yang sama menjadi sebuah kalimat. Fitur ini tetap berfungsi meski tanpa model sama sekali.

Apa yang akan kamu bangun

Dua fungsi, dari awal. build_prompt(system, user) mengembalikan satu string bersih yang berisi kedua bagian dan berakhir di Assistant:. insight(df) menghitung statistik pada tabel pengeluaran yang tertanam dan mengembalikan baris bahasa Inggris biasa yang menyebutkan kategori terbesar dan totalnya. spend_stats(df) pembantu kecil melakukan pekerjaan pandas agar laporan dan wawasan membaca dari angka yang sama.

Langkah AI (coba di aplikasi)

Floati menjalankan model client-side dengan WebLLM di WebGPU -> tanpa akun, tanpa kunci, tanpa cloud, prompt kamu tidak pernah keluar dari mesin. Aplikasi ini menghubungkan satu engine bersama ke window._floatiTutor. Setelah kamu membangun build_prompt, ini adalah panggilan aslinya (ini berada di luar grader karena butuh GPU dan tidak deterministik):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

Perhatikan bahwa model hanya melihat string report yang dihasilkan Python kamu -> angka-angkanya sudah benar sebelum model berbicara. Tekan Run untuk melihat pipeline offline kamu mencetak statistik dan wawasan berbasis aturannya; laporan yang tercetak itu adalah apa yang akan kamu berikan ke model di atas. Penilai memeriksa bentuk prompt dan insight deterministik kamu, bukan output model.

Giliranku

Bangun orkestrasinya. DataFrame pengeluaran df sudah tertanam untukmu (10 baris, kolom category dan amount). Tulis tiga hal: (1) spend_stats(df) -> sebuah dict dengan kunci rows, total, average, top_category, top_amount (total/rata-rata dibulatkan ke 2 desimal, kategori teratas berdasarkan jumlah total); (2) build_prompt(system, user) -> satu string yang berisi system dan user dan ends pada Assistant: agar model lanjut dari sana; (3) insight(df) -> string bahasa Inggris biasa yang tidak kosong (fallback berbasis aturan) yang menyebutkan kategori teratas dan menunjukkan TOTAL: <amount> dengan uang 2 desimal. Lalu atur report = insight(df) dan print(report).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.