モデルが文字について学んだこと
なぜ大切か 言語モデルに a と e がどちらも母音だと教える人はいません。それでもその埋め込みがそれらを近くに置くなら、モデルは文章だけからそれを見つけたのです。これはデータから学んだ「意味」の最初の一瞥です。
2 つの埋め込みを比べるには、コサイン類似度 を使います:内積を両方の長さで割ったものです。2 つのベクトルが同じ向きなら 1、無関係(直角)なら 0、反対の向きならマイナス 1 です。長さは無視します。長さはおもに記号が現れる頻度を映すからです。
コースの記録した小さな GPT(モジュール 13 が作る)の中を見ます。それはこのコースのレッスンの文章だけを、一度に 1 文字ずつ、それぞれの文字を 64 の数の行として読みました。
まず予測してください:文字の組のどのグループが平均で最も似ているか:2 つの母音、母音と子音、それとも 2 つの数字?
このレッスンの言葉と記号
- 埋め込み
- ひとつの記号を表す、学習した数の行
- コサイン類似度
- 内積を両方の長さで割ったもの:1 は同じ向き、0 は無関係、-1 は反対
my_prediction を "vowels"、"mixed"、"digits" のどれかに設定してください。cosine(a, b) と nearest(ch, k)(ch とのコサインが最も高い k のほかの文字、最良が先)を書きます。それから、それぞれのグループの中の異なる文字のすべての組の上の平均のコサインで group を埋めてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。