シラバス レッスン 246 中 135 · モジュール 12:数としての言葉(埋め込み)
モジュール 12:数としての言葉(埋め込み)

モデルが文字について学んだこと

なぜ大切か 言語モデルに a と e がどちらも母音だと教える人はいません。それでもその埋め込みがそれらを近くに置くなら、モデルは文章だけからそれを見つけたのです。これはデータから学んだ「意味」の最初の一瞥です。

2 つの埋め込みを比べるには、コサイン類似度 を使います:内積を両方の長さで割ったものです。2 つのベクトルが同じ向きなら 1、無関係(直角)なら 0、反対の向きならマイナス 1 です。長さは無視します。長さはおもに記号が現れる頻度を映すからです。

コースの記録した小さな GPT(モジュール 13 が作る)の中を見ます。それはこのコースのレッスンの文章だけを、一度に 1 文字ずつ、それぞれの文字を 64 の数の行として読みました。

まず予測してください:文字の組のどのグループが平均で最も似ているか:2 つの母音、母音と子音、それとも 2 つの数字?

このレッスンの言葉と記号
埋め込み
ひとつの記号を表す、学習した数の行
コサイン類似度
内積を両方の長さで割ったもの:1 は同じ向き、0 は無関係、-1 は反対
あなたの番

my_prediction を "vowels"、"mixed"、"digits" のどれかに設定してください。cosine(a, b) と nearest(ch, k)(ch とのコサインが最も高い k のほかの文字、最良が先)を書きます。それから、それぞれのグループの中の異なる文字のすべての組の上の平均のコサインで group を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。