Kurrikulum Leson 111 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Op-toestel AI (Geen Wolk nie)

Die meeste AI-toepassings stuur jou teks na 'n maatskappy se bediener, wat die model hardloop en die antwoord terugstuur. Dit beteken rekeninge, API keys, fakture en jou data verlaat jou masjien. Floati weier dit alles.

Floati hardloop sy AI client-side, reg in jou blutser of toepassing, deur WebLLM bo-op WebGPU te gebruik. WebGPU is 'n blutserstandaard wat webkode toelaat om jou rekenaar se grafikakaart te gebruik. WebLLM gebruik dit om 'n regte (kleiner) taalmodel plaaslik te hardloop. Die modelgewigte laai een keer af, dan gebeur alles op jou toestel.

  • Geen sleutels, geen wolk, geen rekening. Niks om aan te meld nie.
  • Privaat by ontwerp. Jou aanvrae verlaat nooit die masjien nie, wat by Floati se offline-eerst-belofte pas.
  • Eerlike beperkings. Modelle op die toestel is kleiner en stadiger as die reuse gasgehospitte modelle, en hulle het 'n WebGPU-vermoënde bl brasileiros nodig. Die ruil is privaatheid en nul koste.

Watter model jy ook al praat, jy praat met dit deur 'n prompt. 'n Skoon, herbruikbare gewoonte is om 'n stelselinstruksie (wie die model moet wees) apart te hou van die gebruiker se boodskap, en dan om hulle in een string saam te stel met 'n duidelike finale beurt vir die model om voort te gaan:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Eindig op Assistant: dui aan waar die model moet begin skryf. Jy bou daardie sjabloon nou; die volgende les gebruik dit om die on-device model werklik te roep.

Jou beurt

Skryf build_prompt(system, user) wat 'n enkele string in hierdie presiese vorm teruggee: System: <system>, dan 'n nuwe reël, User: <user>, 'n nuwe reël, dan Assistant: met niks daarna nie. Stel dan prompt = build_prompt("You are concise.", "Summarize my week.").

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.