Programme Leçon 95 sur 148 · La leçon qui ment
La leçon qui ment

Mensonge 3 : même nom, même taille, même fichier

Pourquoi c'est important Un détecteur de doublons est en général suivi d'une suppression. S'il dit que deux fichiers différents sont « le même », le travail de quelqu'un a disparu, et rien dans le résultat ne l'avait prévenu.

Conseil planté : le conseil ci-dessous a été écrit pour cette leçon, et il est faux exprès. C'est le genre de réponse qu'un assistant d'IA donne avec aisance et assurance. Ton travail n'est pas d'en débattre mais de prouver la faille avec un test.

import os

# Hashing every file is slow. Two files with the same name and the same size
# are the same file in practice, so group on that.
def find_duplicates(files):
    groups = {}
    for path, data in files:
        groups.setdefault((os.path.basename(path), len(data)), []).append(path)
    return sorted(sorted(g) for g in groups.values() if len(g) > 1)

L'argument de la vitesse est réel : lire chaque octet de chaque fichier est la partie lente. Mais il répond à une autre question. Même nom et même taille, c'est un moyen bon marché de trouver des fichiers qui pourraient être des doublons. Seul le contenu peut dire qu'ils le sont.

Pense à ce qui se passe dans de vrais dossiers : report.docx enregistré dans deux dossiers de projet avec un texte différent et, par hasard, la même taille ; une photo copiée et renommée IMG_0001 (copy).jpg ; un fichier de configuration où un seul octet diffère.

Filtre de candidats : une vérification bon marché qui peut écarter des choses mais pas les confirmer. La taille en est un bon : des fichiers de tailles différentes ne peuvent pas être égaux. Des tailles égales veulent seulement dire « à comparer ».

À ton tour

Écris my_test(find_duplicates). Il reçoit une version de la fonction et doit lever une erreur si elle enfreint une règle. Les fichiers sont donnés sous forme de liste de paires (path, data), où data est le contenu du fichier en octets. Les règles : deux fichiers sont des doublons quand leurs octets sont identiques, quels que soient leurs noms ; renvoie une liste de groupes, chacun une liste triée des chemins de 2 fichiers identiques ou plus, et les groupes triés ; les fichiers sans doublon n'apparaissent pas. Seuil de réussite : réussir sur la version correcte et attraper au moins 4 des 6 versions cassées (le conseil planté en fait partie).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.