シラバス レッスン 156 中 37 · 内側から見る HTTP
内側から見る HTTP

URL とリンクの掃除

なぜ大切か Cookie がブロックされたり分離されたりすると、トラッカーはリンクそのものであなたの ID を運びます。そうしたリンクを写して共有するたびに、クリック ID も一緒に渡してしまいます。リンクの掃除は、ページを壊さずに、すべての移動でその装飾を取り除きます。ブラウザとブロッカーはそれを備えていて、ここでは自分のものを書き、ブロッカーのモジュールでその考え方を再利用します。

小包のラベルを考えてください。住所は配達業者が必要とするものです。途中で扱った人たちが貼ったシール(「ニュースレター経由」「顧客番号 7f3a」)は違います。リンクを掃除するとは、住所をまったくそのままにして、シールをはがすことです。

URL:部分からなるウェブのアドレスです。https://shopa.example:443/p/tent?colour=green#reviews には、スキーム(https)、ホスト(shopa.example)、ポート(443)、パス(/p/tent)、クエリ(colour=green)、そして フラグメント(reviews。ブラウザにとどまり、サーバーには送られない)があります。

クエリのパラメーター:クエリの name=value のかけらひとつで、ほかのものと & で区切られます。

リンクの装飾:utm_source、fbclid、gclid のような、あるサイトから別のサイトへ ID やキャンペーンのラベルを運ぶためにリンクに加えたパラメーターです。

2 つの仕事:正規化して、取り除く

正規化 とは、同じアドレスを毎回同じように書くことです。スキームとホストは大文字小文字を区別しないので、HTTPS://SHOPA.Example は https://shopa.example になります。ポート 443 は HTTPS の既定(HTTP なら 80)なので、書いても何も加わりません。空のパスは / です。パスそのものは多くのサーバーで大文字小文字を区別 する ので、そのままにしてください。

取り除く とは、追跡のパラメーターだけを取り除くことです。watched.leg2c_http の STRIP_PARAMS は、(広告のプラットフォーム、メールの道具、ソーシャルのサイトからの)クリック ID とキャンペーンの名前を並べていて、utm_ で始まるすべての名前も取り除きます。名前は小文字にして、デコードしてから比べます(utm%5Fsource は変装した utm_source です)。それ以外はすべて、書かれたとおり ぴったり に保ちます。q=red+tent が q=red%20tent になってはいけませんし、順番を大事にするサイトもあります。

パーセントエンコーディング:文字を、% と 2 桁の 16 進数で書き、URL の中を安全に運べるようにすることです。%5F は _、%26 は & です。urllib.parse.unquote が元に戻します。

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

なぜ urlencode でクエリを作り直さないのでしょうか? それは値をエンコードし直し、こっそり変えてしまうことがあるからです。生のクエリを & で分割し、手を付けないかけらを残すほうが安全です。?to=https%3A%2F%2F...%3Futm_source%3Dx のような入れ子のアドレスは、ふつうのパラメーターのエンコードされた値ひとつです。ここではそのままにしてください(跳ね返りのリンクを包みから出すのは、次のレッスンとブロッカーの仕事です)。

よくある誤解

「安全のため、すべてのパラメーターを取り除こう」。それは検索結果(q=)、ページ番号(page=2)、そして最悪なことに、パスワードのリセットやログインのリンク(token=)を壊します。採点される 40 の場合のひとつは、まさにそのリセットのリンクです。ブラウザの掃除が一覧を使うのも同じ理由からです(2026 年 10 月確認)。

試してみよう ニュースレターのメールやソーシャルメディアの投稿のリンクを、テキストエディターに写してください。utm_ のパラメーターや長いクリック ID は見つかりますか? それを取り除き、短くなったリンクを開いて、ページがまだ動くかを確かめてください。

ほかの言語では

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

まとめ

  • 大文字小文字を区別しない部分(スキーム、ホスト)を正規化し、既定のポートを落とし、空のパスを / にします。
  • デコードしてから小文字で比べ、既知の追跡のパラメーターだけを取り除きます。ほかのかけらはどれも、書かれたとおり、順番どおりに保ちます。
  • フラグメントは保ち、ウェブでないリンクはそのままにし、ページが必要とするトークンは決して取り除かないでください。
あなたの番

is_tracking_param(name) を書いてください。unquote でパーセントデコードして小文字にした名前が、utm_ で始まるか STRIP_PARAMS にあるとき True。次に clean_link(url) を書きます。http/https でないリンクは変えない。スキームとホストを小文字にする(user@ の部分は書かれたとおりに、IPv6 アドレスの周りの角かっこも保つ)。既定のポートを落とす。空のパスを / にする。クエリを & で分割し、空のかけらと追跡のパラメーターを落とし、残りは書かれたとおり、順番どおりに保つ。何も残らなければ ? はなし。#fragment は保つ。LINK_CASES の 40 の場合と、ランダムなリンクで採点されます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。