강의 계획 레슨 156개 중 148번째 · 연구자처럼 웹 재기
연구자처럼 웹 재기

추적기 분류기 훈련하기

왜 중요한가 차단 목록은 사람이 쓰고 언제나 뒤처져요: 새 추적기가 매주 나타나요. 분류기는 추적기가 어떻게 행동하는지 배워서 아직 어떤 목록도 이름 붙이지 않은 걸 표시할 수 있어요. 작은 걸 직접 만들어 보면 그런 도구가 무엇을 할 수 있는지, 그리고 어떻게 정직하게 판단할지 알게 돼요.

노련한 문지기를 생각해 보세요. 아무도 모든 말썽꾼의 목록을 주지 않았지만, 신호를 배웠고, 그걸 함께 저울질해요: 신호 하나는 별 뜻이 없고, 셋이 함께면 많은 뜻이 있어요. 분류기는 숫자로 같은 일을 해요.

데이터

watched.leg7b_web의 tracker_dataset(seed)는 시뮬레이션 웹을 크롤링하고 본 모든 서드파티에 대해 행동 여섯 개를 각각 0에서 1로 재요: 몇 개 사이트에 있는지, 얼마나 자주 쿠키를 정하는지, 얼마나 자주 아주 작은 그림(픽셀)을 보내는지, 얼마나 자주 URL이 긴 ID 같은 값을 싣는지, 얼마나 자주 페이지 주소를 싣는지, 얼마나 자주 응답이 작은지. 각 행에는 라벨 y도 있어요: 차단 목록이 추적기라고 하면 1, 아니면 0.

from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])

세 가지 생각으로 본 로지스틱 회귀

가중치: 특징 하나가 증거로서 얼마나 쳐지는지 말하는 숫자. 양수는 "이게 많을수록 더 추적기 같다"는 뜻이에요.

1. 증거 저울질하기. 각 특징에 가중치를 곱해 더하고, 편향(시작하는 기울기)을 더해요: z = w1*x1 + w2*x2 + ... + bias.

2. 확률로 눌러 담기. 시그모이드 함수 1 / (1 + math.exp(-z))는 어떤 숫자든 0과 1 사이로 바꿔요. 큰 양수 z는 거의 1을, 큰 음수는 거의 0을, 0은 0.5를 줘요.

3. 실수에서 배우기. 모든 가중치를 0으로 시작해요. 훈련 행마다 error = prediction - y를 계산해요. 그다음 각 가중치를 살살 밀어요: w = w - lr * error * x, 편향은 bias - lr * error로. lr(학습률)이 미는 크기를 정해요. 모든 행을 한 번 도는 게 에포크이고, 여러 에포크 되풀이해요.

import math
def sigmoid(z):
    return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3))   # 0.5 0.982 0.018

판단하기: 정밀도와 재현율

2구간에서 만났어요. 확률이 적어도 0.5면 "추적기"라고 말해요. 그러면:

  • 정밀도 = 표시한 진짜 추적기 / 표시한 모든 것. 정밀도가 낮으면 무해한 사이트가 망가져요.
  • 재현율 = 표시한 진짜 추적기 / 모든 진짜 추적기. 재현율이 낮으면 추적기가 통과해요.

언제나 모델이 결코 훈련하지 않은 따로 떼어 둔 행으로 재세요. 훈련 행으로 채점하면 부풀려져요. 테스트는 더 나아가 결코 본 적 없는 웹의 크롤링에서 모델을 채점해요.

흔한 오해: "모델이 추적기가 무엇인지 배웠다." 데이터에 라벨을 붙인 차단 목록과 실수까지 동의하도록 배웠어요. 목록이 사이트에 대해 틀리면, 모델도 틀리도록 배워요. 149번 레슨이 이걸 다시 다뤄요.

다른 언어로

다른 곳에서 예측과 학습 한 단계:

// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
  const err = predict(w, b, row.x) - row.y;
  return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}
// C#
double Predict(double[] w, double b, double[] x) {
    double z = b;
    for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
    return 1.0 / (1.0 + Math.Exp(-z));
}

요약

  • 분류기는 추적기 행동을 배우니, 어떤 목록도 이름 붙이지 않은 추적기를 표시할 수 있어요.
  • 로지스틱 회귀: 특징을 저울질하고, 시그모이드로 눌러 담고, 오차로 가중치를 밀어요.
  • 결코 훈련하지 않은 행에서 정밀도와 재현율로 판단하세요.
  • 라벨이 보는 세상을, 실수까지 배워요.
내 차례

평범한 Python으로 함수 세 개를 쓰세요:

  1. predict(weights, bias, x): z = sum(weights[i] * x[i]) + bias의 시그모이드 1 / (1 + math.exp(-z)).
  2. train(rows, epochs=100, lr=0.5): 가중치는 0(특징마다 하나), 편향은 0.0으로 시작하고, 에포크마다 행을 순서대로 돌며 error = predict(...) - row["y"]를 계산하고, 그다음 모든 가중치를 - lr * error * x[i]만큼, 편향을 - lr * error만큼 갱신해요. (weights, bias)를 돌려줘요.
  3. precision_recall(weights, bias, rows, threshold=0.5): 예측이 적어도 기준이면 행을 표시하고, (precision, recall)을 돌려줘요. 0으로 나누게 되면 0.0을 써요. (관례는 달라요: 아무것도 표시하지 않은 차단기는 거짓 경보를 내지 않았으니, 어떤 채점기는 그 정밀도를 1.0으로 쳐요. 둘 다 변호할 수 있고, 보고서는 어느 쪽을 쓰는지 말해야 해요.)
그다음 data["train"]으로 weights, bias를, data["test"]에서 test_precision, test_recall을 정하세요. 테스트는 결코 본 적 없는 시뮬레이션 웹에서 모델을 채점해요: 둘 다 적어도 0.80.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.