デバイス上の AI(クラウドなし)
ほとんどの AI アプリは、あなたのテキストを会社のサーバーに送り、そこでモデルを動かして答えを送り返します。つまり、アカウント、API キー、請求書があり、あなたのデータがマシンの外に出ていくということです。Floati はそのすべてを断ります。
Floati は AI を クライアント側、つまりブラウザやアプリの中で、WebGPU の上の WebLLM を使って動かします。WebGPU は、ウェブのコードがコンピューターのグラフィックカードを使えるようにするブラウザの標準で、WebLLM はそれを使って本物の(小さめの)言語モデルをローカルで動かします。モデルの重みは一度だけダウンロードされ、その後はすべてがあなたのデバイスの上で起こります。
- キーなし、クラウドなし、請求なし。 登録するものは何もありません。
- 設計からプライベート。 プロンプトがマシンの外に出ることは決してなく、Floati のオフライン優先の約束に合っています。
- 正直な限界。 デバイス上のモデルは巨大なホスト型のものより小さくて遅く、WebGPU に対応したブラウザが必要です。その代わりに、プライバシーと費用ゼロが手に入ります。
どのモデルと話すにしても、プロンプト を通して話します。きれいで再利用できる習慣は、システムの指示(モデルが誰であるべきか)をユーザーのメッセージと分けておき、それから、モデルが続きを書く明確な最後の番を付けてひとつの文字列に組み立てることです:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Assistant: で終わることで、モデルがどこから書き始めるべきかを示します。このテンプレートを今から作ります。次のレッスンでは、それを使って実際にデバイス上のモデルを呼び出します。
次のぴったりの形のひとつの文字列を返す build_prompt(system, user) を書いてください:System: <system>、改行、User: <user>、改行、そして後ろに何もない Assistant:。次に prompt = build_prompt("You are concise.", "Summarize my week.") とします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。