Yapay Zeka Bitirme Projesi: kodun cihaz üzerinde çalışan bir LLM çalıştırıyor
Bu bitirme projesi ve sen mimarısın. Tüm süreç tek bir fikir üzerine kuruldu: Python kodun modeli yönetir. LLM sadece çağırdığın bir bileşendir -> kodun hangi veriyi göreceğine, isteğin nasıl şekilleneceğine ve model yüklendiğinde ne olacağına karar verir. Bu yönetimi neredeyse boş bir dosyadan inşa edeceksin.
Her gerçek yapay zeka özelliği aynı döngüdür. Kodun güvenilir işi yapar, model ise kelimeleri seçer:
- pandas ile verileri hesapla. Kod aritmetikte tam sonuç verir; model vermez. Bu yüzden satır sayısı, toplam, ortalama ve en üst kategori bir DataFrame'den gelir, asla LLM'den gelmez. Halüsinasyon görme riskini önlemenin tek yolu budur.
- İsteği kendin şekillendir. Yeniden kullanılabilir bir prompt şablonu, sistem talimatını (modelin kim olacağı) kullanıcı mesajından (ne yapacağı) ayrı tutar, sonra bunları modelin nerede yazmaya başlayacağını bilmesi için bir turn işaretciyle biten tek bir string haline getirir.
- Her zaman çevrimdışı bir yolun olsun. Cihazdaki model WebGPU gerektirir ve deterministik değildir, bu yüzden aynı gerçekleri bir cümleye dönüştüren kural tabanlı bir üretici de yazmalısın. Özellik hiç model olmasa bile çalışır.
Neler inşa edeceksin
Sıfırdan iki fonksiyon. build_prompt(system, user) her iki parçayı da içeren ve Assistant: ile biten temiz bir string döndürür. insight(df) gömülü bir harcama tablosu üzerinde istatistikleri hesaplar ve en büyük kategorini ve toplamı belirten düz bir İngilizce satır döndürür. Küçük bir spend_stats(df) yardımcı fonksiyonu pandas işini yapar, böylece hem rapor hem de içgörü aynı sayılardan okunur.
Yapay zeka adımı (uygulamada dene)
Floati modelini client-side olarak WebLLM ile WebGPU üzerinde çalıştırır -> hesap yok, anahtar yok, bulut yok, istemlerin asla makineden çıkmaz. Uygulama tek bir ortak motoru window._floatiTutor üzerine bağlar. build_prompt inşa ettiğinde, gerçek çağrı budur (değerlendiricinin dışında yer alır çünkü bir GPU'ya ihtiyaç duyar ve deterministik değildir):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Modelin sadece Python'un ürettiği report dizisini gördüğüne dikkat et -> sayılar model konuşmadan önce zaten doğru. İstatistikleri ve kural tabanlı içgörüsünü görmek için Run tuşuna bas; yazdırılan rapor tam olarak yukarıdaki modele vereceğin şeydir. Değerlendirici prompt şeklini ve deterministik insight değerini kontrol eder, asla model çıktısını kontrol etmez.
Orkestrasyonu kur. Harcama DataFrame'i df senin için gömülü (10 satır, category ve amount sütunları). Üç şey yaz: (1) spend_stats(df) -> rows, total, average, top_category, top_amount anahtarlara sahip bir dict (toplamlar/ortalamalar 2 ondalık basamağa yuvarlanmış, toplam tutara göre en üst kategori); (2) build_prompt(system, user) -> hem system hem user hem de ends içeren bir string, böylece model Assistant: üzerinden devam eder; (3) insight(df) -> en üst kategoriyi adlandıran ve 2 ondalık basamaklı bir TOTAL: <amount> gösteren boş olmayan düz İngilizce bir string (kural tabanlı yedek). Sonra report = insight(df) ve print(report) değerlerini ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.