Prévenir la pourriture des bits

Je m’inquiète de la dégradation des données. Beaucoup. J’ai déjà quelques centaines de .jpgs corrompus sur mon disque dur que les programmes standard de vérification du système de fichiers comme CHKDSK (utilisé dans Microsoft Windows) ont été incapables de trouver ou de réparer.

Le problème a deux causes principales : 1) un support physique perdant son orientation et sa force magnétique (c’est le genre de problème que CHKDSK et le système de fichiers sous-jacent excellent généralement à trouver et à réparer), et 2) une copie de masse sujette à erreur lors du transfert de données d’un disque dur à un autre, ou de l’appareil photo à l’ordinateur. Habituellement, cette copie n’emploie aucun contrôle de vérification.

Les codes de détection et de correction d’erreurs (comme ceux qui sont employés au niveau du bit chaque fois que votre disque dur écrit quelque chose sur le disque) sont excellents pour récupérer une erreur d’un bit, mais ne sont pas conçus pour gérer les erreurs de deux bits (qui sont statistiquement beaucoup moins probables), ce qui explique pourquoi il y a une bonne chance que vous n’ayez jamais rencontré le problème vous-même.

La mise en miroir des disques (et les configurations RAID en général) ne vous aidera pas ici, car s’il y a une erreur dans le fichier, elle sera simplement copiée sur le deuxième disque.

Que faire ? Eh bien, il n’y a pas de solution automatique set-it-and-forget-it pour le moment (je sens une opportunité commerciale !), cependant il y a quelques outils disponibles pour l’archiviste sérieux :

1) Il existe des outils de vérification de l’intégrité des fichiers. La façon dont ils fonctionnent est que vous demandez au programme de scanner un répertoire sain et il générera ce qui est connu comme un « hash » (que vous pouvez considérer comme une somme de contrôle complexe). Vous pouvez ensuite exécuter le même programme d’analyse à l’avenir et il recalculera les hachages et les comparera aux anciens, vous indiquant si l’un de vos fichiers originaux a changé. L’outil ne se contente pas de regarder les données et l’heure, mais la totalité des 1 et des 0 du fichier. Un outil populaire s’appelle ExactFile. L’inconvénient de ces programmes est qu’une fois qu’un problème est détecté, que faites-vous ensuite ? On ne sait pas vraiment ce que l’on peut faire pour corriger l’erreur. L’autre inconvénient est qu’à chaque fois que vous accédez ou modifiez intentionnellement ce fichier, vous devez générer à nouveau le hachage. (Le TROISième inconvénient est que vous devez avoir la prévoyance de générer les hachages avant que la pourriture des données ne commence.)

2) Il existe des outils gratuits que vous pouvez télécharger qui recherchent dans tous les répertoires des types de fichiers spécifiques (tels que les fichiers d’image) et vérifient s’ils sont corrompus. (Certains fonctionnent également sur les fichiers vidéo, et d’autres fichiers à usage spécial. Mais je n’ai vu AUCUN outil qui puisse fonctionner sur une multitude de types de fichiers, y compris les fichiers Microsoft Office par exemple). En voici un que j’ai personnellement utilisé pour découvrir des centaines de .jpgs corrompus sur mon disque dur, et il existe une version pour les Macs ainsi que pour les PCs :

Ok, donc une fois que vous avez trouvé des fichiers images corrompus, comment les réparer ? D’après mon expérience, les programmes de réparation .JPG sont à peu près aussi efficaces et prévisibles que les programmes qui tentent de récupérer des images sur des cartes mémoire corrompues – c’est du pipeau. J’ai passé quelques jours à parcourir d’innombrables revues de sites Web de programmes de réparation .jpg et je n’ai pas été impressionné par le taux de réussite ou par la méthode de test de l’auteur de l’article. Je ne peux donc pas vraiment recommander quoi que ce soit, car je n’ai pas eu beaucoup de succès avec les quelques programmes que j’ai essayés. (Et si quelque chose a fonctionné pour moi, cela ne fonctionnera pas nécessairement pour vous.)

Cependant, dans mes recherches, j’ai pu découvrir un site Web excentrique qui offre un service de récupération de .jpg, et si leur outil automatique ne peut pas le faire pour vous, alors ils disent qu’ils ont un personnel expérimenté qui ira sur place et FIXERA LE .JPG À LA MAIN en analysant la structure et en faisant une édition au niveau des octets. (Rien ne vaut la bonne vieille méthode !) Si vous savez vraiment ce que vous faites, cette méthode promet le plus haut taux de récupération possible. Voici leur site web et leur autre site web.

Prévention

Il y a deux choses que vous devriez faire MAINTENANT pour vous aider à vous protéger contre une future pourriture des données:

1) Rappelez-vous qu’EN MOYENNE, même le support de stockage le plus durable s’usera probablement après 5 ans. En plus des sauvegardes régulières et quotidiennes (et de garder un 3e ensemble rotatif hors site pour se prémunir contre le feu ou le vol), je recommande fortement de mettre en œuvre une réplication / rafraîchissement des données tous les 3 ans environ. Il s’agit essentiellement de copier l’ensemble de vos données sur un nouveau disque dur de temps en temps. Bien que cela vous aidera à vous protéger contre la perte magnétique de certains bits, si vous avez déjà des .jpgs corrompus en raison d’une copie bâclée, alors ces fichiers corrompus seront également copiés.

2) Arrêtez de copier des fichiers en utilisant le gestionnaire de fichiers de votre ordinateur (Finder ou Windows Explorer) et commencez à utiliser un programme de copie ET de vérification de fichiers comme Teracopy (Windows) ou Ultracopier (pour OSX, Linux et Windows). Ces programmes prennent deux fois plus de temps mais ils auraient éliminé la source principale de mes .jpgs corrompus si je les avais utilisés dès le premier jour.

3) Utilisateurs avancés : Les systèmes de fichiers de force industrielle comme ZFS (Unix / Linux), MacZFS ou le futur ReFS de Microsoft (Windows Server 2012, Windows 8.1) tiennent la promesse d’être plus résilients et proactifs dans la résolution de ces types de problèmes de rotation des données. Ils sont le système de fichiers de l’avenir (jusqu’à ce que nos ensembles de données deviennent plus grands et plus vieux, c’est-à-dire 🙂 ).

En passant, les outils mentionnés avec désinvolture ci-dessus ne sont en aucun cas exhaustifs. Si vous avez un outil ou une méthode qui répond à ce problème, veuillez le poster dans la section des commentaires. Tout le monde devrait apprendre de votre expérience.

=== PARTIE 2 ===

Boy, j’ai reçu beaucoup d’emails suite au blog du mois dernier ! La plupart des gens n’avaient aucune idée que même s’ils faisaient des sauvegardes régulières et qu’ils effectuaient régulièrement une vérification du système de fichiers, leurs précieux fichiers étaient TOUJOURS vulnérables à la corruption.

J’ai donc appris que chaque fois que je touche un nerf comme celui-ci, il est judicieux d’approfondir. L’une des meilleures suggestions à sortir des commentaires du blog était le renforcement de l’idée d’utiliser un système de fichiers plus avancé comme ZFS (Unix) ou ReFS (Microsoft Windows 8.1, une raison convaincante de mettre à niveau juste là !) qui est conçu pour lutter contre ce problème même. L’un des moyens les plus rentables et les plus simples pour une personne ayant des aptitudes techniques est de télécharger et d’installer FreeNAS sur un vieil ordinateur qui servira de serveur. C’est gratuit (sauf pour le matériel), et vos données obtiennent le niveau supplémentaire de protection qu’elles méritent sans que vous ayez à changer d’ordinateur ou de système d’exploitation.

Options de stockage d’archives

Parlons un peu plus du stockage d’archives. Les CD et les DVD ne sont PAS la voie à suivre, car ils ont une durée de vie MOYENNE des données de 3 à 5 ans. C’est pourquoi vos CD des années 80 ne fonctionnent probablement plus très bien. Ce type d’impermanence du stockage préoccupe beaucoup la Bibliothèque du Congrès, qui étudie actuellement la question – en fait, elle recherche activement vos dons de CD et de DVD qui ne sont plus lisibles pour des autopsies. Voici un énoncé succinct du problème tiré du magazine Atlantic.

Il fut un temps où la meilleure option qui existait était un CD spécial (maintenant, un DVD aussi) dont la couche réfléchissante était faite d’or. Initialement fabriqués par Kodak et maintenant proposés par Verbatim (entre autres), ils revendiquent une permanence de 100 ans mais cet article dit qu’ils pourraient ne pas être lisibles dans tous les lecteurs de DVD car la couche d’or n’est pas aussi réfléchissante que l’argent qui se dégrade facilement. Qu’est-ce qui est mieux ? Le DVD Taiyo-Yuden / JVC Thermal-Lacquer qui a la compatibilité la mieux notée et qui durerait environ 80 ans.

Puis il y a MDISC, la société qui prétend avoir une durée de vie de stockage de 1 000 ans pour les disques DVD et Blu-Ray et qui est lisible partout. Elle utilise un graveur spécialement modifié comme celui-ci, et les plateaux coûtent environ 3 $ chacun pour les DVD et 5 $ chacun pour les Blu-Ray. Pas mal.

Quiconque commence à radoter sur « Oui, mais y aura-t-il des lecteurs dans 1 000 ans ? » pose la mauvaise question. Après avoir lu des comptes rendus récents sur les niveaux d’effort requis pour récupérer l’art numérique d’Andy Warhol à partir de ses vieilles disquettes Amiga, ou l’entreprise massive pour ressusciter l’image originale de Earthrise à partir de vieilles bandes de la NASA, on se rend vite compte qu’il ne faut pas attendre 1 000 ans (ou même 50 ans) pour que les choses deviennent illisibles. Il se peut que j’investisse dans ce projet, car j’ai l’illusion que mes affaires valent la peine d’être conservées. Par ailleurs, mon père est également très préoccupé par la longévité des films familiaux. (Il est loin de se douter que le format original du film durera beaucoup, beaucoup plus longtemps que la copie VHS ou l’incarnation ultérieure en DVD. Oh, quelle ironie !)