강의 계획 레슨 156개 중 149번째 · 연구자처럼 웹 재기
연구자처럼 웹 재기

정직한 통계

왜 중요한가 측정은 읽는 사람이 얼마나 믿을지 알 때만 쓸모 있어요. 표본을 어떻게 골랐는지, 숫자가 얼마나 불확실한지, 무엇을 볼 수 없었는지 적는 게 연구와 짐작을 가르는 거예요. 스스로를 속이지 않게도 지켜 줘요.

체육관의 사람들에게 얼마나 자주 운동하는지 묻고, 그다음 "보통 사람은 일주일에 다섯 번 운동한다"고 발표한다고 상상해 보세요. 산수는 완벽할 수 있어요. 문제는 누구에게 물었느냐예요.

표본: 크롤링한 사이트 1,000개처럼 실제로 잰 세상의 부분.

모집단: "사람들이 쓰는 웹사이트"처럼 무언가를 말하고 싶은 전체.

표본 편향: 표본과 모집단 사이의 차이로, 표본이 아무리 커도 결과를 한쪽으로 밀어요.

웹 크롤링이 편향되는 곳

  • 인기 사이트만. 순위는 큰 사이트를 편들어요. 웹의 대부분인 작은 사이트는 다르게 행동할 수 있어요.
  • 지역과 언어. 한 나라의 크롤러는 그 나라의 사이트 판을, 흔히 한 언어로 봐요.
  • 기기. 데스크톱 크롤링은 모바일 사이트와 앱이 하는 걸 놓치고, 많은 추적은 이제 앱에서 일어나요.
  • 로그아웃 페이지. 크롤러는 드물게 로그인하니, 계정 페이지, 결제, 피드는 재지 않아요.
  • 봇 탐지. 어떤 사이트는 자동화된 브라우저에 다르게 행동해요.
  • 라벨. 추적기 수는 사실 "차단 목록이 추적기라고 부르는 사이트"예요. 추적기를 놓치는 목록은 숫자를 낮춰요.

몫은 얼마나 불확실한가?

편향이 없어도 표본은 우연히 흔들려요. n개 사이트에서 잰 몫 p에 대한 흔한 대략적 95% 오차 범위는 1.96 * sqrt(p * (1 - p) / n)이에요.

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

이 범위는 우연만 덮어요. 흔히 더 큰 오차인 편향에 대해서는 아무것도 말하지 않으니, 여전히 위 목록이 필요해요.

한계 쓰기

좋은 한계 부분은 짧고, 구체적이고, 정직해요. 한계마다 그게 무엇인지, 아마 결과를 어느 쪽으로 미는지, 무엇이 고칠지 말하세요. 예:

  • "홈페이지만 방문했어요. 안쪽 페이지는 흔히 추적기를 더 불러오니, 우리 수는 아마 낮아요."
  • "라벨에 차단 목록 하나를 썼어요. 그것이 놓치는 추적기는 세지 않았어요."
  • "크롤링은 하루에, 한 곳에서, 데스크톱으로 돌았어요."

흔한 오해: "한계를 나열하면 연구가 약해 보인다." 정반대예요. 읽는 사람은 결과의 가장자리를 볼 수 있을 때 더 믿고, 한계는 다음 연구자에게 무엇을 잴지 알려요.

습관 두 개 더: 누군가 되풀이할 수 있도록 날짜와 정확한 방법을 주고, "사이트의 60%에서 봤다"를 "사람의 60%가 추적된다"로 바꾸지 마세요. 사이트는 사람이 아니에요.

해 보기 146번 레슨의 크롤링을 가져오세요. 그 추적기 몫의 오차 범위를 계산하고, 그다음 각각 숫자를 어느 쪽으로 미는지 말하는 한계 세 개를 쓰세요.

요약

  • 표본 편향은 누구를 또는 무엇을 쟀는지에서 오고, 더 큰 표본이 고치지 않아요.
  • 크롤링은 작은 사이트, 다른 지역, 모바일과 앱, 로그인 페이지, 그리고 라벨이 놓치는 걸 놓쳐요.
  • 1.96 * sqrt(p(1 - p)/n) 같은 오차 범위는 우연만 덮어요.
  • 무엇을, 어느 방향으로, 무엇이 고칠지 말하는 한계를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.