강의 계획 레슨 156개 중 47번째 · 차단기 만들기
차단기 만들기

요청을 규칙과 맞추기

왜 중요한가 차단기는 페이지가 하는 모든 요청, 흔히 페이지당 백 개가 넘는 요청을 수만 개의 규칙과 맞춰 봐요. 그 확인이 느리면 모든 페이지가 느리게 느껴지고, 사람들은 차단기를 꺼요. 빠르고 정확한 게 보호를 쓸 만하게 만들어요.

두 가지 일: 올바른 답을, 빨리

책이 5,000권 있는 도서관을 생각해 보세요. 한 권을 찾으려고 첫 선반부터 모든 책등을 읽지는 않을 거예요. 맞는 구역으로, 그다음 맞는 선반으로 가요. 차단기도 같아야 해요: 맞을 수도 있는 몇 안 되는 규칙으로 바로 가서, 그것만 확인하는 거예요.

이 실습은 둘 다로 채점해요. 테스트는 요청 하나에 대해 여러분의 decide가 rule_matches를 몇 번 부르는지 세고, 규칙 5,000개를 불러온 상태에서 예산은 확인 20번이에요. 시간을 재는 대신 확인을 세니, 느린 휴대폰과 빠른 노트북이 같은 방식으로 채점돼요.

1단계: 와일드카드

와일드카드: "아무 글자나"를 나타내는 기호. 필터 목록에서는 *라서, /beacon/*/hit은 /beacon/42/hit과 /beacon/abc/hit에 맞아요.

패턴을 각 *에서 나누고, 조각들을 글에서 순서대로, 하나하나 앞 조각 뒤에서 찾으세요:

wildcard_in("*/collect?*cid=", "https://m.example/collect?x=1&cid=9")
# pieces: "/collect?" then "cid="  -> both found, in order -> True

wildcard_in("a*b", "b then a")
# "a" found at position 7, then no "b" after it -> False

text.find(piece, pos)는 pos 위치부터만 찾아서 piece가 시작하는 곳을, 없으면 -1을 반환해요. 필터 목록에서 ?와 .는 평범한 글자라는 점에 주의하세요. 그러니 이들을 특수하게 다루는 정규 표현식이나 fnmatch는 쓰지 마세요.

2단계: 규칙 하나를 요청 하나와

rule_matches(rule, url, third_party)는 규칙 하나에 대해 예 또는 아니요로 답해요:

  • third_party가 설정된 규칙은 퍼스트파티 요청에 절대 맞지 않아요.
  • 도메인 규칙 adco.example은 호스트 adco.example이나 .adco.example로 끝나는 모든 호스트에 맞아요. 점이 중요해요: notadco.example은 다른 누군가예요.
  • 패턴 규칙은 wildcard_in(value, url.lower())가 참일 때 맞아요.

3단계: 몇 개 규칙만 확인하도록 색인 만들기

색인: 한 번 만들어 두면 모든 걸 뒤지지 않고 찾게 해 주는 구조, 책 뒤쪽의 색인처럼요. 여기서는: 호스트 이름에서 그 호스트의 규칙으로 가는 dict.

Python dict는 키가 몇 개든 한 걸음에 키를 찾아요. 그러니 한 번 만드세요:

index = {"domains": {"adco.example": [rule, ...], ...},
         "patterns": [rule, rule, ...]}

img.adco.example로 가는 요청이라면 호스트의 모든 끝부분을 찾아보세요: img.adco.example, adco.example, example. 확인 5,000번 대신 찾기 세 번이에요. 몇 안 되는 패턴 규칙을 더하세요(실제 차단기는 그것도 반드시 포함해야 하는 짧은 글 조각으로 색인하지만, 우리는 평범한 리스트에 둬요).

4단계: 결정, 예외가 이김

후보를 하나씩 확인하세요. 맞는 규칙 중 하나라도 예외면 답은 "allow", 끝이에요. 그렇지 않고 차단 규칙이 하나라도 맞으면 "block", 아무것도 맞지 않으면 "allow"예요. 예외가 있는 건 목록이 사이트에 정말 필요한 것을 가끔 잡기 때문이에요. 해 없는 라이브러리를 내주는 cdn.example처럼요.

흔한 오해

"규칙이 많을수록 차단기가 느리다." 좋은 색인이 있으면 아니에요: dict에서 호스트를 찾는 비용은 규칙이 50개든 50,000개든 거의 같아요. 차단기를 느리게 하는 건 규칙을 하나씩 확인하는 거예요.

해 보기 통과한 뒤 decide가 목록의 모든 규칙을(색인 없이) 돌도록 바꾸고 테스트를 다시 돌리세요. 예산 테스트가 약 5,000이라는 개수로 실패해요. 그 숫자가 모든 페이지의 모든 요청마다 색인이 아껴 주는 일이에요.

다른 언어로

JavaScript:

function wildcardIn(pattern, text) {
  let pos = 0;
  for (const piece of pattern.split("*")) {
    if (!piece) continue;
    const at = text.indexOf(piece, pos);
    if (at === -1) return false;
    pos = at + piece.length;
  }
  return true;
}

// Index: a Map from host to rules; look up each ending of the host.
function candidates(index, host) {
  const parts = host.split(".");
  const out = [];
  for (let i = 0; i < parts.length; i++) {
    out.push(...(index.domains.get(parts.slice(i).join(".")) || []));
  }
  return out.concat(index.patterns);
}

Go:

func wildcardIn(pattern, text string) bool {
    pos := 0
    for _, piece := range strings.Split(pattern, "*") {
        if piece == "" {
            continue
        }
        at := strings.Index(text[pos:], piece)
        if at < 0 {
            return false
        }
        pos += at + len(piece)
    }
    return true
}

요약

  • 와일드카드 패턴: *에서 나누고 조각을 순서대로 찾아요.
  • 도메인 규칙은 호스트나 모든 하위 도메인에 맞고, 라벨 단위로 비교해요.
  • 색인(호스트별 dict)은 수천 번의 확인 대신 몇 번의 찾기를 뜻해요.
  • 맞는 예외는 언제나 차단 규칙을 이겨요.
내 차례

네 함수를 쓰세요. wildcard_in(pattern, text): * 기호 사이의 pattern 조각들이 모두 text에 순서대로 나타나면 True. rule_matches(rule, url, third_party): 규칙 dict 하나(지난 레슨의 것)가 요청에 맞으면 True. build_index(rules): decide가 대부분을 건너뛸 수 있게 규칙을 원하는 방식으로 정리. decide(index, url, third_party): 맞는 예외가 이기도록 "block" 또는 "allow"를 반환하고, 규칙 5,000개를 불러왔을 때 요청당 rule_matches를 최대 20번 부르기.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.