シラバス レッスン 250 中 109 · ニューラルネットの直感、LLM と AI キャップストーン
ニューラルネットの直感、LLM と AI キャップストーン

見てみよう:テキストが数になる仕組み

LLM がプロンプトを使って何かをする前に、テキストを数に変えなければなりません。ニューラルネットワークは数に対してしか計算できないからです。それを行うステップが トークン化 です。

再生を押してください。ひとつの単語が トークン(よく現れるテキストのかたまりで、単語まるごとではなくサブワードであることが多い)に分けられ、各トークンがモデルの語彙の 整数の ID になるのを見てください。この後、モデルは二度と文字を見ません。見るのは ID のリストだけです。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。