추적기 분류기 훈련하기
왜 중요한가 차단 목록은 사람이 쓰고 언제나 뒤처져요: 새 추적기가 매주 나타나요. 분류기는 추적기가 어떻게 행동하는지 배워서 아직 어떤 목록도 이름 붙이지 않은 걸 표시할 수 있어요. 작은 걸 직접 만들어 보면 그런 도구가 무엇을 할 수 있는지, 그리고 어떻게 정직하게 판단할지 알게 돼요.
노련한 문지기를 생각해 보세요. 아무도 모든 말썽꾼의 목록을 주지 않았지만, 신호를 배웠고, 그걸 함께 저울질해요: 신호 하나는 별 뜻이 없고, 셋이 함께면 많은 뜻이 있어요. 분류기는 숫자로 같은 일을 해요.
데이터
watched.leg7b_web의 tracker_dataset(seed)는 시뮬레이션 웹을 크롤링하고 본 모든 서드파티에 대해 행동 여섯 개를 각각 0에서 1로 재요: 몇 개 사이트에 있는지, 얼마나 자주 쿠키를 정하는지, 얼마나 자주 아주 작은 그림(픽셀)을 보내는지, 얼마나 자주 URL이 긴 ID 같은 값을 싣는지, 얼마나 자주 페이지 주소를 싣는지, 얼마나 자주 응답이 작은지. 각 행에는 라벨 y도 있어요: 차단 목록이 추적기라고 하면 1, 아니면 0.
from watched.leg7b_web import tracker_dataset
data = tracker_dataset(seed=2)
print(data["features"])
row = data["train"][0]
print(row["site"], row["x"], row["y"])세 가지 생각으로 본 로지스틱 회귀
가중치: 특징 하나가 증거로서 얼마나 쳐지는지 말하는 숫자. 양수는 "이게 많을수록 더 추적기 같다"는 뜻이에요.
1. 증거 저울질하기. 각 특징에 가중치를 곱해 더하고, 편향(시작하는 기울기)을 더해요: z = w1*x1 + w2*x2 + ... + bias.
2. 확률로 눌러 담기. 시그모이드 함수 1 / (1 + math.exp(-z))는 어떤 숫자든 0과 1 사이로 바꿔요. 큰 양수 z는 거의 1을, 큰 음수는 거의 0을, 0은 0.5를 줘요.
3. 실수에서 배우기. 모든 가중치를 0으로 시작해요. 훈련 행마다 error = prediction - y를 계산해요. 그다음 각 가중치를 살살 밀어요: w = w - lr * error * x, 편향은 bias - lr * error로. lr(학습률)이 미는 크기를 정해요. 모든 행을 한 번 도는 게 에포크이고, 여러 에포크 되풀이해요.
import math
def sigmoid(z):
return 1 / (1 + math.exp(-z))
print(sigmoid(0), round(sigmoid(4), 3), round(sigmoid(-4), 3)) # 0.5 0.982 0.018판단하기: 정밀도와 재현율
2구간에서 만났어요. 확률이 적어도 0.5면 "추적기"라고 말해요. 그러면:
- 정밀도 = 표시한 진짜 추적기 / 표시한 모든 것. 정밀도가 낮으면 무해한 사이트가 망가져요.
- 재현율 = 표시한 진짜 추적기 / 모든 진짜 추적기. 재현율이 낮으면 추적기가 통과해요.
언제나 모델이 결코 훈련하지 않은 따로 떼어 둔 행으로 재세요. 훈련 행으로 채점하면 부풀려져요. 테스트는 더 나아가 결코 본 적 없는 웹의 크롤링에서 모델을 채점해요.
흔한 오해: "모델이 추적기가 무엇인지 배웠다." 데이터에 라벨을 붙인 차단 목록과 실수까지 동의하도록 배웠어요. 목록이 사이트에 대해 틀리면, 모델도 틀리도록 배워요. 149번 레슨이 이걸 다시 다뤄요.
다른 언어로
다른 곳에서 예측과 학습 한 단계:
// JavaScript
const predict = (w, b, x) => 1 / (1 + Math.exp(-(x.reduce((s, v, i) => s + v * w[i], 0) + b)));
function step(w, b, row, lr) {
const err = predict(w, b, row.x) - row.y;
return [w.map((wi, i) => wi - lr * err * row.x[i]), b - lr * err];
}// C#
double Predict(double[] w, double b, double[] x) {
double z = b;
for (int i = 0; i < x.Length; i++) z += w[i] * x[i];
return 1.0 / (1.0 + Math.Exp(-z));
}요약
- 분류기는 추적기 행동을 배우니, 어떤 목록도 이름 붙이지 않은 추적기를 표시할 수 있어요.
- 로지스틱 회귀: 특징을 저울질하고, 시그모이드로 눌러 담고, 오차로 가중치를 밀어요.
- 결코 훈련하지 않은 행에서 정밀도와 재현율로 판단하세요.
- 라벨이 보는 세상을, 실수까지 배워요.
평범한 Python으로 함수 세 개를 쓰세요:
predict(weights, bias, x):z = sum(weights[i] * x[i]) + bias의 시그모이드1 / (1 + math.exp(-z)).train(rows, epochs=100, lr=0.5): 가중치는 0(특징마다 하나), 편향은 0.0으로 시작하고, 에포크마다 행을 순서대로 돌며error = predict(...) - row["y"]를 계산하고, 그다음 모든 가중치를- lr * error * x[i]만큼, 편향을- lr * error만큼 갱신해요.(weights, bias)를 돌려줘요.precision_recall(weights, bias, rows, threshold=0.5): 예측이 적어도 기준이면 행을 표시하고,(precision, recall)을 돌려줘요. 0으로 나누게 되면 0.0을 써요. (관례는 달라요: 아무것도 표시하지 않은 차단기는 거짓 경보를 내지 않았으니, 어떤 채점기는 그 정밀도를 1.0으로 쳐요. 둘 다 변호할 수 있고, 보고서는 어느 쪽을 쓰는지 말해야 해요.)
data["train"]으로 weights, bias를, data["test"]에서 test_precision, test_recall을 정하세요. 테스트는 결코 본 적 없는 시뮬레이션 웹에서 모델을 채점해요: 둘 다 적어도 0.80.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.