シラバス レッスン 156 中 88 · プライベートな AI
プライベートな AI

端末の上のモデル

なぜ大切か 端末の上のモデルは、言葉がコンピューターや電話から一度も出ないまま答えてくれます。それは「データを私たちに任せて」を「私たちはデータを一度も持っていなかった」に変えます。CV Builder の AI による仕上げとこのコースのチューターはそうやって働いていて、自分で確かめられます。

台所に来る料理人

クラウドの AI はレストランのようなものです。注文を給仕に渡し、料理は見えない所で行われます。端末の上のモデルは、料理人があなたの台所に来るようなものです。料理人は一度だけあなたの所まで来なければなりませんが(それがダウンロードです)、その後はどの食事も家で作られ、何を食べるかは誰にも見えません。

モデル:数の大きなファイル(重み と呼ばれる)と、それを使ってテキストの次の言葉を予測するコードです。「モデルを動かす」とは、その数で大量の計算をすることです。

端末の上のモデル:重みが端末にダウンロードされ、自分のプロセッサーかグラフィックのチップを使ってそこで動くモデルです。プロンプトと答えは端末にとどまります。

ブラウザの中でどう働くか

Floati は、ウェブページの中で言語モデルを動かすオープンソースのライブラリ WebLLM を使っています。3 つの部品がそれを働かせます:

  • WebGPU。ページが速い計算のためにグラフィックのチップ(GPU)を使えるようにするブラウザの機能です。言語モデルには大量の計算が要るので、これがタブの中でそれを使えるものにしています。
  • 小さく圧縮したモデル。 コースのチューターと CV Builder は、ブラウザに収まるよう圧縮した、およそ 5 億パラメーターの指示に従う小さなモデルを使っています(2026 年 10 月確認)。
  • ブラウザのキャッシュ。ダウンロードした重みを保つので、次の訪問はずっと速く始まります。

パラメーター:モデルの中の個々の数です。パラメーターが多いほど、ふつうはより有能なモデルで、ダウンロードも大きくなります。

量子化:各数を少ないビットで保存すること(例えば 16 や 32 ではなく 4 ビット)です。写真を低い画質で保存するようなもので、ずっと小さく、少しだけぼやけます。

ネットワークを実際に進むもの

ここでは正直さが大事です。端末の上のモデルを使うのは「ネットワークがまったくない」ことではありません。2 つのものがダウンロードされます:

  1. モデルを動かす ライブラリのコード。
  2. 何百メガバイトもある モデルの重み。一度ダウンロードされ、それからキャッシュされます。

どちらもあなた への ダウンロードです。決して送られないのは あなたの 側、つまり尋ねる質問と貼り付けるテキストです。重みを置いているサーバーは、どのファイルのダウンロードとも同じように、誰かがモデルをダウンロードしたことは知りますが、会話は決して見ません。

トレードオフ

クラウドのモデル端末の上のモデル
誰がテキストを見るか提供者自分の端末だけ
質ふつうずっと強い小さく絞った仕事が得意
初めての使用すぐ一度の大きなダウンロード
必要なものインターネットの接続WebGPU と十分なメモリのあるブラウザ
オフラインで働くいいえはい、ダウンロードした後なら

WebGPU は、デスクトップの Chrome、Edge、Safari の今のバージョンと、一部のシステムの Firefox で使えます(2026 年 10 月確認)。古い端末やメモリの少ない端末ではモデルがまったく読み込めないこともあり、だから Floati の CV Builder には、モデルの要らない単純な規則に基づく提案役もあるのです。違いをはっきりさせておきましょう。その提案役は Floati 自身のサーバーで動くので、CV のテキストはそこに送られますが、AI の会社には決して送られません。

よくある誤解

「小さなモデルは役に立たない」。5 億パラメーターのモデルは小説を書いてはくれませんが、狭い仕事は得意です。文を言い換える、ヒントを出す、段落を要約する。多くのプライベートな仕事には、小さなローカルのモデルが正しい道具で、巨大なクラウドのモデルはデータを代価にする行き過ぎです。

試してみよう チューターのいるレッスンを開き、ブラウザの DevTools(F12、Mac なら Cmd+Option+I)を開き、それから Network タブを開きます。チューターを始めると、モデルの大きなダウンロードが見えます。読み込まれたら一覧を消し、チューターに質問してください。一覧を見ます。小さなページの数え役が見えるかもしれませんが、質問やコードを運ぶリクエストはありません。

まとめ

  • 端末の上のモデルは自分のハードウェアで動くので、プロンプトと答えは決して端末から出ません。
  • ブラウザではこれに WebGPU、小さな量子化したモデル、キャッシュを使い、Floati のチューターと CV Builder は WebLLM をこう使っています。
  • コードと重みは一度あなたにダウンロードされ、テキストは決してアップロードされません。
  • 代価は、低い質、大きな初回のダウンロード、端末の要件です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。