シラバス レッスン 246 中 136 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

トークン:最もよくある組を併合する

なぜ大切か 本物のモデルは文字も単語まるごとも読みません。その間のかけらである トークン を読み、それは単純な数える規則で作られます。だからモデルは、よくある単語をひとつのかけらとして、まれな単語をいくつかのかけらとして「見る」のです。

バイトペア符号化(BPE)は 1 文字ずつから始め、ひとつの手順を繰り返します:文章で最もよく現れる隣り合う記号の組を見つけ、それをどこでもひとつの新しい記号に貼り合わせます。

小さな例

単語 "low"(5 回)と "lot"(2 回)。組:l o は 7 回、o w は 5 回、o t は 2 回現れる。l o を併合:今は "lo w" と "lo t"。次に lo w は 5 回現れる:それを併合すると、"low" はひとつのトークンです。

本物のトークナイザーは、このレッスンが省く 2 つのことを加えます。文字ではなくバイトから始めるので、絵文字を含め、どんな言語のどんな文章も 256 記号の始まりで書けます。そして単語の始まる場所に印をつける(GPT-2 は空白を次の単語の前に貼る)ので、単語の始まりのかけらと、単語の中の同じ文字は、異なるトークンになります。単語あたりの文字数は、1 文字ずつ読む代価です。単語あたりのトークン数は併合を加えるにつれ落ちます:モデルにとってより少なく大きな歩みで、より大きな語彙と引き換えです。

このレッスンの言葉と記号
トークン、BPE
モデルが読む文章のかけら。バイトペア符号化は最もよくある隣り合う組を何度も貼り合わせる
あなたの番

pair_counts(vocab)(それぞれの隣り合う組がどれだけよく現れるか、単語の回数で重みづけ)と merge(vocab, pair)(その組をどこでも貼り合わせる)を書いてください。200 回の併合のあとの単語あたりのトークン数 my_guess を予想します(約 4.6 で始まる)。ループは書いてあります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。