Conteúdo do curso Lição 111 de 156 · Apps e dispositivos
Apps e dispositivos

Associar os SDKs aos donos deles

Por que isso importa Hosts não são empresas. Uma empresa pode usar muitos hosts, e um host que parece ser do próprio app pode pertencer a outra pessoa. Agrupar uma captura por dono, e somar o que cada dono recebeu, transforma uma lista de requisições numa resposta à pergunta que realmente importa a você: quem descobriu o quê sobre mim?

Endereços e proprietários

O nome de um host é como o endereço de uma rua; o dono é o proprietário do imóvel. events.metrics.example e cdn.metrics.example são dois endereços com o mesmo proprietário. E partners.fitfox.example fica na rua do FitFox, mas um proprietário diferente (a AdCo) o aluga. Essa é a versão em app do CNAME cloaking que você conheceu na Etapa 1.

Mapa de domínios: uma lista que diz qual empresa mantém qual host ou site. Os reais são montados por pesquisadores e por projetos de bloqueio de rastreadores; o nosso é o SDK_OWNERS, um dict simples no mundo de prática.

from watched.leg5b_apps import SDK_OWNERS
print(SDK_OWNERS["adco.example"])            # AdCo
print(SDK_OWNERS["partners.fitfox.example"]) # AdCo
print(SDK_OWNERS["fitfox.example"])          # FitFox

O mais específico primeiro

Para encontrar o dono de a.b.adco.example, teste o nome completo, depois tire o rótulo mais à esquerda (um rótulo é um pedaço separado por pontos) e teste de novo: b.adco.example, depois adco.example. Pare na primeira correspondência. Pare antes de chegar a um único rótulo como example, que ninguém possui. Se nada corresponder, o dono é "Unknown", e um dono desconhecido merece mais atenção, não menos.

labels = "a.b.adco.example".split(".")   # ['a', 'b', 'adco', 'example']
print(".".join(labels[1:]))              # b.adco.example

Ir do mais específico primeiro é o que pega partners.fitfox.example: o nome completo dele está no mapa como AdCo, então você nunca volta para o FitFox.

Um grafo de compartilhamento de dados

Grafo de compartilhamento de dados: um mapa de cada empresa para os tipos de dados que ela recebeu. Aqui o guardamos como um dict, dono -> lista ordenada de tipos.

O mundo de prática dá a você fields_of(entry) (igual ao seu all_fields da lição anterior) e DATA_KINDS, que diz que tipo de dado um nome de campo leva:

from watched.leg5b_apps import DATA_KINDS
print(DATA_KINDS["heart_rate"])   # health
print(DATA_KINDS.get("slot"))     # None (not personal, ignore it)

Os tipos são identifier, location, health, contact e viewing. Como antes, um campo de identificador cujo valor é ZERO_AD_ID (ou vazio) não conta. Todo dono que o app contatou aparece no grafo, mesmo com uma lista vazia, porque uma conexão sozinha já entrega o seu endereço IP e o horário.

Uma nota que você consegue comparar

Um único número deixa você comparar dois apps num relance. O nosso é simples de propósito: para cada dono que não seja a própria empresa do app, some 1 pelo contato, mais um peso para cada tipo que ele recebeu, de KIND_WEIGHTS (identifier 2, location 3, health 3, contact 3, viewing 2). O FitFox tem nota 26.

Pesquisadores reais pesam as coisas de outros jeitos, e nenhuma nota captura tudo. Uma nota é um começo de conversa: ela é mais útil para "este app compartilha o dobro daquele" do que como veredito.

Um equívoco comum

"Mais hosts significa mais compartilhamento." Um app pode usar dez hosts todos mantidos por ele mesmo e um host mantido por um corretor de dados. Contar os donos, e o que eles receberam, chega mais perto da verdade do que contar os hosts.

Em outras linguagens

JavaScript

function ownerOf(host, owners) {
  const labels = host.toLowerCase().split(".");
  for (let i = 0; i < labels.length - 1; i++) {
    const name = labels.slice(i).join(".");
    if (name in owners) return owners[name];
  }
  return "Unknown";
}

Rust

fn owner_of(host: &str, owners: &HashMap<&str, &str>) -> String {
    let labels: Vec<&str> = host.split('.').collect();
    for i in 0..labels.len().saturating_sub(1) {
        if let Some(o) = owners.get(labels[i..].join(".").as_str()) {
            return o.to_string();
        }
    }
    "Unknown".to_string()
}

Resumo

  • Agrupe por dono, não por host: uma empresa tem muitos hosts, e um host com cara familiar pode pertencer a outra pessoa.
  • Procure primeiro o nome mais específico, depois tire os rótulos um a um; nenhuma correspondência significa "Unknown".
  • Um grafo de compartilhamento de dados lista, para cada dono, os tipos de dados que ele recebeu.
  • Uma nota simples ajuda a comparar apps, mas é um ponto de partida, não um veredito.
Sua vez

Escreva três funções.

  1. owner_of(host, owners): procure host no dict owners; se não estiver lá, tire o rótulo mais à esquerda e tente de novo, parando antes de sobrar um único rótulo. Retorne o primeiro dono encontrado, ou "Unknown".
  2. sharing_graph(entries, owners): retorne um dict que mapeia cada dono contatado (use o host de urlsplit(url).hostname) para uma lista ordenada sem repetições dos tipos de dados que ele recebeu. Use fields_of e DATA_KINDS; pule os nomes que não estão em DATA_KINDS, e pule os campos de identificador cujo valor é ZERO_AD_ID ou vazio. Os donos que não receberam nada pessoal ainda aparecem, com [].
  3. sharing_score(graph, app_owner): para cada dono exceto app_owner, some 1 mais KIND_WEIGHTS[kind] para cada um dos tipos dele. Retorne o total.
Depois defina graph = sharing_graph(fitness_app_log(), SDK_OWNERS), score = sharing_score(graph, "FitFox") e imprima os dois.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.