Conteúdo do curso Lição 37 de 156 · HTTP por dentro
HTTP por dentro

URLs e limpeza de links

Por que isso importa Quando os cookies são bloqueados ou particionados, os rastreadores levam o seu ID no próprio link, e toda vez que você copia e compartilha um link assim, passa adiante o ID de clique junto. Um limpador de links remove essa decoração em toda navegação sem quebrar a página. Navegadores e bloqueadores trazem um; aqui você escreve o seu, e o módulo do bloqueador reaproveita a ideia.

Pense na etiqueta de uma encomenda. O endereço é o que o entregador precisa. Os adesivos colados por todo mundo que pegou o pacote no caminho ("veio pela newsletter", "cliente número 7f3a") não são. Limpar um link significa descolar os adesivos e deixar o endereço exatamente como estava.

URL: um endereço web, em partes: https://shopa.example:443/p/tent?colour=green#reviews tem um esquema (https), um host (shopa.example), uma porta (443), um caminho (/p/tent), uma consulta (colour=green) e um fragmento (reviews, que fica no navegador e não é enviado ao servidor).

Parâmetro de consulta: um pedaço name=value da consulta, separado dos outros por &.

Decoração de links: parâmetros adicionados a um link para levar um ID ou rótulo de campanha de um site para outro, como utm_source, fbclid ou gclid.

Dois trabalhos: normalizar, depois remover

Normalizar significa escrever o mesmo endereço sempre do mesmo jeito. Esquema e host não diferenciam maiúsculas, então HTTPS://SHOPA.Example vira https://shopa.example. A porta 443 é a padrão do HTTPS (80 para HTTP), então escrevê-la não acrescenta nada. Um caminho vazio é /. O próprio caminho diferencia maiúsculas em muitos servidores, então deixe-o em paz.

Remover significa tirar só os parâmetros de rastreamento. STRIP_PARAMS em watched.leg2c_http lista os nomes de IDs de clique e de campanhas (de plataformas de anúncios, ferramentas de e-mail e redes sociais), e todo nome que começa com utm_ também sai. Compare os nomes em minúsculas e depois de decodificar (utm%5Fsource é utm_source disfarçado). Todo o resto fica exatamente como foi escrito: q=red+tent não pode virar q=red%20tent, e a ordem importa para alguns sites.

Codificação por porcentagem: escrever um caractere como % mais dois dígitos hexadecimais, para que ele viaje com segurança numa URL: %5F é _, %26 é &. urllib.parse.unquote o converte de volta.

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

Por que não reconstruir a consulta com urlencode? Porque ele recodifica os valores e pode mudá-los em silêncio. Dividir a consulta bruta em & e manter os pedaços intocados é mais seguro. Um endereço aninhado como ?to=https%3A%2F%2F...%3Futm_source%3Dx é um valor codificado de um parâmetro normal; deixe-o em paz aqui (desembrulhar links de redirecionamento é trabalho para a próxima lição e para o bloqueador).

Um equívoco comum

"Remova todos os parâmetros, por segurança." Isso quebra resultados de busca (q=), números de página (page=2) e, pior de tudo, links de redefinição de senha e de login (token=). Um dos 40 casos avaliados é exatamente esse link de redefinição. Os limpadores dos navegadores usam uma lista pelo mesmo motivo (verificado em outubro de 2026).

Experimente Copie um link de um e-mail de newsletter ou de um post de rede social para um editor de texto. Consegue ver parâmetros utm_ ou um ID de clique comprido? Remova-os, abra o link mais curto e confira se a página ainda funciona.

Em outras linguagens

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

Resumo

  • Normalize as partes que não diferenciam maiúsculas (esquema, host), retire as portas padrão e transforme um caminho vazio em /.
  • Remova só os parâmetros de rastreamento conhecidos, comparados em minúsculas depois de decodificar; mantenha todos os outros pedaços exatamente como foram escritos e em ordem.
  • Mantenha o fragmento, deixe em paz os links que não são web, e nunca remova tokens de que uma página precisa.
Sua vez

Escreva is_tracking_param(name): True quando o nome, decodificado com unquote e em minúsculas, começa com utm_ ou está em STRIP_PARAMS. Depois escreva clean_link(url): deixe sem mudanças os links que não são http/https; deixe em minúsculas o esquema e o host (mantenha qualquer parte user@ exatamente como foi escrita, e os colchetes em volta de um endereço IPv6); retire uma porta padrão; transforme um caminho vazio em /; divida a consulta em &, retire os pedaços vazios e os parâmetros de rastreamento, mantenha o resto exatamente como foi escrito e em ordem; nada de ? quando não sobrar nada; mantenha o #fragment. A avaliação usa os 40 casos de LINK_CASES mais links aleatórios.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.