シラバス レッスン 250 中 110 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

LLM とは何か?

チャットアシスタントの背後にあるような 大規模言語モデル(LLM)は、根本的には巨大な次のトークンの予測器です。いくつかの用語がわかれば、全体がすっと腑に落ちます。

  • トークン。 テキストはトークンと呼ばれる断片に切り分けられます。おおよそ単語か単語のかけらです。モデルはそのままの文字ではなくトークンを読み書きします。おおまかな目安:英語では 1 トークンがおよそ 4 文字です。
  • 予測。 それまでのトークンが与えられると、モデルは次に来うるすべてのトークンについて確率を出力します。ひとつを選び、付け加え、繰り返します。このループで段落まるごとを書くのです。
  • プロンプト。 あなたが入力するテキストです。リクエストについてモデルが知っていることはすべてプロンプトの中にあるので、言い回しがとても大事です(次のレッスン)。
  • 温度(temperature)。 その選び方のランダムさを決めるつまみです。0 近くでは、モデルはほぼ常に最もありそうなトークンを取ります(集中していて、繰り返しがち)。高い値では、ありそうにないトークンも抽出します(より創造的で、信頼性は下がる)。このコースのキャップストーンのようなローカルのモデルは、今もこのつまみを受け付けます。最新のホスト型の Claude のモデルは受け付けません。自分でサンプリングを設定し、温度の設定にはエラーで答えるので、そこではプロンプトで出力を操ります。
  • ハルシネーション。 事実を調べるのではなく、もっともらしいテキストを予測するので、LLM は間違ったことを自信満々に述べることがあります。LLM がくれる事実は必ず確かめてください。

本物のトークナイザーはサブワード単位で、データから学習されます。ここではそれは作りませんが、最も単純なトークナイザー(空白で区切る)を作って、トークンを数えるのがどんな感じかをつかめます。利用量や上限はトークン数で測られます。

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

空白で区切るのは、感覚をつかむための代役にすぎません。本物のトークナイザーはサブワードの断片に分けるので、予算を立てるときのよくある目安は tokens ≈ len(text) / 4 文字で、本番のコードは推測せずに、API が返す usage 項目(または専用のトークン数を数えるエンドポイント)から正確な数を読みます。

推論モデル

ここまでの説明はすべて、答えを直接出すモデルについてのものです。より新しい系統である 推論モデル は、まず隠れた「思考」のトークンの予算を使って問題を一歩ずつ考え、それから最終的な答えを書きます。その余分な熟考によって、難しい複数ステップのタスク(数学、コード、慎重な計画)で本当に正確さが上がります。しばしば調節つまみもあり、努力量や思考の予算を上げると、思考のトークンが増え、待ち時間が延び、費用も増えます。エンジニアとしての判断は、単に それに見合うのはいつか です。本当に難しいステップには推論モデルを使い、決まりきったものには速くて安いモデルを使います。後で、簡単なリクエストは安いモデルに振り分け、難しいものだけを上へ回す、コストを意識した段階構成を作るときに、まさにこのトレードオフを使います。

あなたの番

単純な空白のトークナイザーを書いてください。tokenize(text) は空白で区切ったトークンのリストを返します(.split() を使います)。count_tokens(text) はその数を返します。次に tokens = tokenize(sample) と n_tokens = count_tokens(sample) を設定します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。