Bitfäule verhindern

Ich mache mir Sorgen über Datenverfall. Und zwar eine Menge. Ich habe bereits einige hundert beschädigte .jpgs auf meiner Festplatte, die von Standard-Dateisystemprüfprogrammen wie CHKDSK (in Microsoft Windows verwendet) nicht gefunden oder repariert werden konnten.

Das Problem hat zwei Hauptursachen: 1) physische Medien, die ihre magnetische Ausrichtung und Stärke verlieren (dies ist die Art von Problem, die CHKDSK und das zugrunde liegende Dateisystem normalerweise hervorragend finden und beheben können), und 2) fehleranfälliges Massenkopieren beim Übertragen von Daten von einer Festplatte auf eine andere oder von der Kamera auf den Computer. Normalerweise werden bei solchen Kopiervorgängen keine Überprüfungen durchgeführt.

Fehlererkennungs- und -korrekturcodes (wie die, die jedes Mal, wenn Ihre Festplatte etwas auf die Festplatte schreibt, auf Bitebene eingesetzt werden) eignen sich hervorragend zur Wiederherstellung von Ein-Bit-Fehlern, sind aber nicht für Zwei-Bit-Fehler ausgelegt (die statistisch gesehen viel unwahrscheinlicher sind), weshalb die Wahrscheinlichkeit groß ist, dass Sie das Problem noch nie selbst erlebt haben.

Datenträgerspiegelung (und RAID-Konfigurationen im Allgemeinen) werden Ihnen hier nicht helfen, da ein Fehler in der Datei einfach auf die zweite Platte kopiert wird.

Was ist zu tun? Nun, es gibt im Moment keine automatische Lösung zum Einstellen und Vergessen (ich rieche eine Geschäftsmöglichkeit!), aber es gibt einige Werkzeuge, die dem ernsthaften Archivar zur Verfügung stehen:

1) Es gibt Werkzeuge zur Überprüfung der Dateiintegrität. Die Funktionsweise besteht darin, dass Sie das Programm ein gesundes Verzeichnis scannen lassen und es einen so genannten „Hash“ erzeugt (den Sie sich als komplexe Prüfsumme vorstellen können). Sie können dann das gleiche Scanprogramm in der Zukunft ausführen, und es wird die Hashes neu berechnen und mit den alten vergleichen, um Ihnen mitzuteilen, ob sich eine Ihrer Originaldateien geändert hat. Das Tool prüft nicht nur Daten und Zeit, sondern auch die Gesamtheit der 1en und 0en in der Datei. Ein beliebtes Programm ist ExactFile. Der Nachteil dieser Programme ist, dass man nicht weiß, was man tun soll, wenn man ein Problem gefunden hat. Es ist nicht klar, was man tun kann, um den Fehler zu beheben. Der andere Nachteil ist, dass man jedes Mal, wenn man absichtlich auf die Datei zugreift oder sie verändert, den Hash neu generieren muss. (Der DRITTE Nachteil ist, dass man die Voraussicht haben muss, die Hashes zu generieren, bevor die Datenfäulnis beginnt.)

2) Es gibt kostenlose Tools, die Sie herunterladen können und die alle Verzeichnisse nach bestimmten Dateitypen (z. B. Bilddateien) durchsuchen und prüfen, ob sie beschädigt sind. (Einige funktionieren auch bei Filmdateien und anderen Spezialdateien. Aber ich habe noch kein Tool gesehen, das mit einer Vielzahl von Dateitypen arbeiten kann, z. B. auch mit Microsoft Office-Dateien). Hier ist eines, das ich persönlich benutzt habe, um Hunderte von beschädigten .jpgs auf meiner Festplatte zu finden, und es gibt eine Version für Macs und PCs:

Okay, wenn Sie also einige beschädigte Bilddateien gefunden haben, wie können sie repariert werden? Meiner Erfahrung nach sind JPG-Reparaturprogramme ungefähr so effektiv und vorhersehbar wie die Programme, die versuchen, Bilder von beschädigten Speicherkarten wiederherzustellen – es ist ein Schuss ins Blaue. Ich habe ein paar Tage damit verbracht, zahllose Website-Bewertungen von .jpg-Reparaturprogrammen durchzugehen, und ich war entweder von der Erfolgsquote oder von der Testmethode des Artikelautors unbeeindruckt. Ich kann also nicht wirklich etwas empfehlen, weil ich mit den wenigen, die ich ausprobiert habe, nicht viel Erfolg hatte. (Und wenn etwas bei mir funktioniert hat, muss es nicht unbedingt auch bei Ihnen funktionieren.)

Bei meinen Nachforschungen bin ich jedoch auf eine merkwürdige Website gestoßen, die einen .jpg-Wiederherstellungsdienst anbietet, und wenn ihr automatisches Tool es nicht für Sie tun kann, dann sagen sie, dass sie ein erfahrenes Personal haben, das hineingeht und das .JPG von Hand repariert, indem es die Struktur analysiert und eine Bearbeitung auf Byte-Ebene vornimmt. (Nichts geht über die altmodische Methode!) Wenn Sie wirklich wissen, was Sie tun, verspricht diese Methode die höchstmögliche Wiederherstellungsrate. Hier ist ihre Website und ihre andere Website.

Vorbeugung

Es gibt zwei Dinge, die Sie JETZT tun sollten, um sich vor zukünftigem Datenverfall zu schützen:

1) Denken Sie daran, dass selbst das haltbarste Speichermedium im Durchschnitt nach 5 Jahren abgenutzt sein wird. Zusätzlich zu den regelmäßigen, täglichen Backups (und der Aufbewahrung eines dritten Satzes außerhalb des Unternehmens zum Schutz vor Feuer oder Diebstahl) empfehle ich dringend, etwa alle 3 Jahre eine Datenreplikation/Auffrischung durchzuführen. Das bedeutet im Wesentlichen, dass Sie Ihren gesamten Datenbestand in regelmäßigen Abständen auf eine neue Festplatte kopieren. Dies schützt Sie zwar vor dem magnetischen Verlust bestimmter Bits, aber wenn Sie bereits beschädigte .jpgs aufgrund von schlampigem Kopieren haben, werden diese beschädigten Dateien ebenfalls kopiert.

2) Hören Sie auf, Dateien mit dem Dateimanager Ihres Computers (Finder oder Windows Explorer) zu kopieren, und verwenden Sie ein Programm zum Kopieren und Überprüfen von Dateien wie Teracopy (Windows) oder Ultracopier (für OSX, Linux und Windows). Diese Programme brauchen doppelt so lange, aber sie hätten die Hauptursache für meine beschädigten .jpgs beseitigt, wenn ich sie von Tag 1 an benutzt hätte.

3) Fortgeschrittene Benutzer: Industriestarke Dateisysteme wie ZFS (Unix/Linux), MacZFS oder Microsofts aufstrebendes ReFS (Windows Server 2012, Windows 8.1) versprechen, robuster und proaktiver zu sein, wenn es darum geht, diese Art von Datenverfallsproblemen anzugehen. Sie sind das Dateisystem der Zukunft (bis unsere Datensätze größer und älter werden 🙂 ).

Übrigens sind die oben beiläufig erwähnten Tools keineswegs erschöpfend. Wenn Sie ein Tool oder eine Methode haben, die dieses Problem löst, schreiben Sie es bitte in den Kommentarbereich. Jeder sollte von Ihren Erfahrungen lernen.

=== TEIL 2 ===

Boy, habe ich eine Menge E-Mails vom Blog des letzten Monats bekommen! Die meisten Leute hatten keine Ahnung, dass ihre wertvollen Dateien trotz regelmäßiger Backups und einer regelmäßigen Überprüfung des Dateisystems immer noch anfällig für Beschädigungen waren.

So habe ich gelernt, dass es jedes Mal, wenn ich einen Nerv wie diesen treffe, sinnvoll ist, tiefer zu gehen. Einer der besten Vorschläge aus den Blog-Kommentaren war die Bekräftigung der Idee, ein fortschrittlicheres Dateisystem wie ZFS (Unix) oder ReFS (Microsoft Windows 8.1, ein zwingender Grund für ein Upgrade!) zu verwenden, das genau für dieses Problem entwickelt wurde. Eine der kostengünstigsten und einfachsten Möglichkeiten für technisch versierte Personen ist es, FreeNAS herunterzuladen und auf einer alten Computerhardware zu installieren, die dann als Server fungiert. Es ist kostenlos (abgesehen von der Hardware), und Ihre Daten erhalten das zusätzliche Maß an Schutz, das sie verdienen, ohne dass Sie den Computer oder das Betriebssystem wechseln müssen.

Archivierungsoptionen

Lassen Sie uns ein wenig mehr über Archivierungsspeicher sprechen. CDs und DVDs sind NICHT die richtige Wahl, denn sie haben eine durchschnittliche Lebensdauer von 3-5 Jahren. Deshalb lassen sich Ihre CDs aus den 80er Jahren wahrscheinlich nicht mehr so gut abspielen. Diese Art der Unbeständigkeit von Speichermedien bereitet der Library of Congress großes Kopfzerbrechen, die sich derzeit mit diesem Thema befasst – sie bittet Sie sogar aktiv um Spenden von CDs und DVDs, die nicht mehr abgespielt werden können, für Autopsien. Hier ist eine kurze Problemdarstellung aus dem Atlantic-Magazin.

Es gab eine Zeit, da war die beste Option eine spezielle CD (jetzt auch DVD), deren reflektierende Schicht aus Gold bestand. Ursprünglich von Kodak hergestellt und jetzt von Verbatim (u.a.) angeboten, behaupten sie, 100 Jahre lang haltbar zu sein, aber in diesem Artikel heißt es, dass sie möglicherweise nicht in jedem DVD-Lesegerät lesbar sind, weil die Goldschicht nicht so reflektierend ist wie das leicht abbaubare Silber. Was ist besser? Die Taiyo-Yuden/JVC-Thermolack-DVD, die die höchste Kompatibilität aufweist und etwa 80 Jahre halten soll.

Dann gibt es MDISC, das Unternehmen, das behauptet, DVDs und Blu-Ray-Discs 1.000 Jahre lang aufzubewahren und überall lesbar zu sein. Es verwendet einen speziell modifizierten Brenner wie diesen, und die Platten kosten etwa 3 Dollar pro Stück für DVD und 5 Dollar pro Stück für Blu-Ray. Nicht schlecht.

Jeder, der anfängt, über „Ja, aber wird es in 1.000 Jahren noch Leser geben?“ zu schwafeln, stellt die falsche Frage. Wenn man in letzter Zeit gelesen hat, mit welchem Aufwand Andy Warhols digitale Kunst von seinen alten Amiga-Disketten wiederhergestellt wurde, oder das gewaltige Unterfangen, das Originalbild von Earthrise aus alten NASA-Bändern zu rekonstruieren, wird einem schnell klar, dass man nicht 1.000 Jahre (oder sogar 50 Jahre) warten muss, bis die Dinge unlesbar werden. Vielleicht investiere ich tatsächlich in so etwas, denn ich habe die Illusion, dass meine Sachen es wert sind, aufbewahrt zu werden. Außerdem ist mein Vater sehr besorgt über die Langlebigkeit von Familienfilmen. (Er weiß nicht, dass das ursprüngliche Filmformat viel, viel länger hält als die VHS-Kopie oder die spätere DVD-Inkarnation. Welch eine Ironie!)