On-Device AI (Geen Cloud)
De meeste AI-apps sturen je tekst naar de server van een bedrijf, die het model draait en het antwoord terugstuurt. Dat betekent accounts, API-sleutels, rekeningen, en je data die je machine verlaat. Floati weigert dat allemaal.
Floati draait zijn AI aan de clientkant, gewoon in je browser of app, met WebLLM bovenop WebGPU. WebGPU is een browserstandaard waarmee webcode de grafische kaart van je computer kan gebruiken; WebLLM gebruikt die om lokaal een echt (kleiner) taalmodel te draaien. De gewichten van het model worden één keer gedownload, en daarna gebeurt alles op je apparaat.
- Geen sleutels, geen cloud, geen rekening. Niets om je voor aan te melden.
- Privé door ontwerp. Je prompts verlaten de machine nooit, wat past bij de offline-eerst-belofte van Floati.
- Eerlijke grenzen. Modellen op het apparaat zijn kleiner en trager dan de enorme gehoste modellen, en ze hebben een browser met WebGPU nodig. De ruil is privacy en nul kosten.
Met welk model je ook praat, je praat ermee via een prompt. Een nette, herbruikbare gewoonte is een systeeminstructie (wie het model moet zijn) gescheiden te houden van het bericht van de gebruiker, en ze dan samen te voegen tot één string met een duidelijke laatste beurt waarop het model verder kan gaan:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Eindigen op Assistant: geeft aan waar het model moet beginnen met schrijven. Je bouwt dat sjabloon nu; de volgende les gebruikt het om het model op het apparaat echt aan te roepen.
Schrijf build_prompt(system, user) dat een enkele string teruggeeft in deze exacte vorm: System: <system>, dan een nieuwe regel, User: <user>, een nieuwe regel, dan Assistant: met niets daarna. Zet daarna prompt = build_prompt("You are concise.", "Summarize my week.").
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.