ニューラルネットの直感、LLM と AI キャップストーン
見てみよう:テキストが数になる仕組み
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
LLM がプロンプトを使って何かをする前に、テキストを数に変えなければなりません。ニューラルネットワークは数に対してしか計算できないからです。それを行うステップが トークン化 です。
再生を押してください。ひとつの単語が トークン(よく現れるテキストのかたまりで、単語まるごとではなくサブワードであることが多い)に分けられ、各トークンがモデルの語彙の 整数の ID になるのを見てください。この後、モデルは二度と文字を見ません。見るのは ID のリストだけです。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。