シラバス レッスン 156 中 149 · 研究者のようにウェブを測る
研究者のようにウェブを測る

正直な統計

なぜ大切か 測定が役に立つのは、読み手がそれをどこまで信頼すればよいかわかるときだけです。標本をどう選んだか、数字がどれだけ不確かか、何が見えなかったかを書き留めることが、研究と推測を分けます。それは自分自身をだますことからも守ってくれます。

ジムにいる人たちに、どれくらい運動するかを尋ね、それから「ふつうの人は週に 5 回運動する」と発表するところを想像してください。計算は完璧かもしれません。問題は、誰に尋ねたかです。

標本:世界のうち実際に測った部分で、例えば巡回した 1,000 のサイトです。

母集団:何かを言いたい全体で、例えば「人々が使うウェブサイト」です。

標本の偏り:標本が大きくても、結果を一方へ押しやる、標本と母集団の違いです。

ウェブの巡回が偏る所

  • 人気のサイトだけ。 ランキングは大きなサイトを優遇します。ウェブの大部分を占める小さなサイトは、違う振る舞いをするかもしれません。
  • 地域と言語。 ひとつの国のクローラーには、その国の版のサイトが、しばしばひとつの言語で見えます。
  • 端末。 デスクトップの巡回は、モバイルのサイトやアプリがすることを見落とします。そして今では多くの追跡がアプリで起こります。
  • ログアウトしたページ。 クローラーはめったにログインしないので、アカウントのページ、決済、フィードは測られません。
  • ボットの検出。 自動化されたブラウザに対して違う振る舞いをするサイトもあります。
  • ラベル。 トラッカーの数は、実は「ブロックリストがトラッカーと呼ぶサイト」です。トラッカーを見落とす一覧は、数字を下げます。

割合はどれだけ不確かか?

偏りがなくても、標本は偶然でぶれます。n のサイトで測った割合 p について、よく使われるおおまかな 95% の 誤差の幅 は 1.96 * sqrt(p * (1 - p) / n) です。

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

この幅が対象にするのは偶然だけです。偏りについては何も語らず、偏りのほうがしばしば大きな誤差なので、上の一覧がやはり必要です。

限界を書き上げる

良い限界の部分は、短く、具体的で、正直です。各限界について、それが何か、結果をおそらくどちらへ押しやるか、何がそれを直すかを述べます。例えば:

  • 「トップページだけを訪れました。中のページはしばしばもっと多くのトラッカーを読み込むので、私たちの数はおそらく少なめです。」
  • 「ラベルにはひとつのブロックリストを使いました。それが見落とすトラッカーは数えられていません。」
  • 「巡回はある 1 日、ひとつの場所から、デスクトップで行いました。」

よくある誤解:「限界を並べると研究が弱く見える」。その逆です。読み手は、結果の縁が見えるほど、それを信頼します。そして限界は、次の研究者に何を測ればよいかを教えます。

もう 2 つの習慣があります。誰かが繰り返せるよう日付とぴったりの方法を示すこと、そして「サイトの 60% で見た」を「人の 60% が追跡されている」に変えないことです。サイトは人ではありません。

試してみよう レッスン 146 の巡回を取り出してください。そのトラッカーの割合について誤差の幅を計算し、それから、それぞれ数字をどちらへ押しやるかを述べた限界を 3 つ書きます。

まとめ

  • 標本の偏りは、誰を、あるいは何を測ったかから生まれ、標本を大きくしても治りません。
  • 巡回は、小さなサイト、ほかの地域、モバイルとアプリ、ログインしたページ、そしてラベルが見落とすものを見落とします。
  • 1.96 * sqrt(p(1 - p)/n) のような誤差の幅が対象にするのは偶然だけです。
  • 何を、どちらの向きに、何が直すかを述べる限界を書きましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。