Voorkomen van Bitrot
Ik maak me zorgen over gegevensbederf. Heel veel. Ik heb al een paar honderd corrupte .jpg’s op mijn harde schijf staan die standaardprogramma’s voor het controleren van bestandssystemen zoals CHKDSK (gebruikt in Microsoft Windows) niet hebben kunnen vinden of repareren.
Het probleem heeft twee hoofdoorzaken: 1) fysieke media die hun magnetische oriëntatie en sterkte verliezen (dit is het soort probleem dat CHKDSK en het onderliggende bestandssysteem meestal uitblinken in het vinden en repareren), en 2) foutgevoelig massakopiëren bij het overbrengen van gegevens van de ene harde schijf naar de andere, of van de camera naar de computer. Meestal worden bij dit soort kopieën geen controles uitgevoerd.
Foutdetectie- en -correctiecodes (zoals die welke op bit-niveau worden gebruikt telkens wanneer uw harde schijf iets naar de schijf schrijft) zijn zeer goed in het herstellen van één bit-fout, maar zijn niet ontworpen om twee bit-fouten (die statistisch veel minder waarschijnlijk zijn) op te lossen, waardoor de kans groot is dat u het probleem nooit zelf hebt ondervonden.
Disk mirroring (en RAID configuraties in het algemeen) zal u hier niet helpen, omdat als er een fout in het bestand zit, het gewoon naar de tweede schijf zal worden gekopieerd.
Wat te doen? Wel, er is geen automatische set-it-and-forget-it oplossing op dit ogenblik (ik ruik een zakelijke opportuniteit!), maar er zijn enkele hulpmiddelen beschikbaar voor de ernstige archivaris:
1) Er zijn hulpmiddelen om de integriteit van bestanden te verifiëren. De manier waarop ze werken is dat je het programma een gezonde directory laat scannen en het zal een zogenaamde “hash” genereren (die je kunt zien als een complexe checksum). Je kunt dan in de toekomst hetzelfde scanprogramma uitvoeren en het zal de hash opnieuw berekenen en vergelijken met de oude, zodat je weet of een van je originele bestanden is veranderd. Het gereedschap kijkt niet alleen naar data en tijd, maar naar het geheel van 1’s en 0’s in het bestand. Een populair programma heet ExactFile. Het nadeel van deze programma’s is dat als er eenmaal een probleem is gevonden, wat doe je dan? Het is niet duidelijk wat je kunt doen om de fout te herstellen. Het andere nadeel is dat elke keer dat je opzettelijk dat bestand opent / wijzigt, je de hash opnieuw moet genereren. (Het DERDE nadeel is dat je de vooruitziende blik moet hebben om de hashes te genereren voordat de data rot begint.)
2) Er zijn gratis tools die je kunt downloaden die alle mappen doorzoeken op specifieke bestandstypen (zoals afbeeldingsbestanden) en controleren of ze corrupt zijn. (Sommige werken ook op film bestanden, en andere bestanden met een speciaal doel. Maar ik heb nog geen enkele tool gezien die kan werken op een veelheid van bestandstypes, inclusief Microsoft Office bestanden bijvoorbeeld). Hier is er een die ik persoonlijk heb gebruikt om honderden corrupte .jpgs op mijn harde schijf te ontdekken, en er is een versie voor zowel Macs als PCs:
Okee, dus als je eenmaal een aantal corrupte afbeeldingsbestanden hebt gevonden, hoe kunnen die dan worden gerepareerd? Mijn ervaring is dat .JPG reparatie programma’s net zo effectief en voorspelbaar zijn als de programma’s die proberen foto’s te herstellen van beschadigde geheugenkaarten – het is een grote gok. Ik heb een paar dagen besteed aan het doornemen van talloze website reviews van .jpg reparatie programma’s en ik was ofwel niet onder de indruk van het succespercentage of niet onder de indruk van de testmethode van de auteur van het artikel. Dus ik kan eigenlijk niets aanraden omdat ik niet veel succes heb gehad met de weinige die ik geprobeerd heb. (En als iets voor mij werkte, dan zou het niet noodzakelijk voor jou werken.)
Hoewel, in mijn onderzoek was ik in staat om een eigenzinnige website te ontdekken die een .jpg recovery service aanbiedt, en als hun automatische tool het niet voor je kan doen dan zeggen ze dat ze een ervaren staf hebben die naar binnen zal gaan en de .JPG met de hand zal FIXEN door de structuur te analyseren en een bewerking op byte-niveau uit te voeren. (Er gaat niets boven de ouderwetse manier!) Als je echt weet wat je doet, belooft deze methode het hoogst mogelijke herstelpercentage. Hier vindt u hun website en hun andere website.
Preventie
Er zijn twee dingen die u NU moet doen om uzelf te beschermen tegen toekomstige gegevensrot:
1) Bedenk dat zelfs het meest duurzame opslagmedium na gemiddeld 5 jaar waarschijnlijk versleten zal zijn. Naast regelmatige, dagelijkse back-ups (en het houden van een roterende 3e set offsite om te beschermen tegen brand of diefstal), raad ik sterk aan om een replicatie / verversing van gegevens te implementeren om de 3 jaar of zo. Dit betekent in wezen dat u uw volledige dataset om de zoveel tijd kopieert naar een nieuwe harde schijf. Hoewel dit je zal helpen beschermen tegen magnetisch verlies van bepaalde bits, als je al corrupte .jpgs hebt door slordig kopiëren, dan zullen die corrupte bestanden ook gekopieerd worden.
2) Stop met het kopiëren van bestanden met behulp van de bestandsmanager van je computer (Finder of Windows Verkenner) en begin met het gebruik van een bestandskopie EN VERIFIEER programma zoals Teracopy (Windows) of Ultracopier (voor OSX, Linux, en Windows). Deze programma’s duren twee keer zo lang, maar ze zouden de primaire bron van mijn corrupte .jpgs hebben geëlimineerd als ik ze vanaf dag 1 had gebruikt.
3) Gevorderde gebruikers: Industrieel sterke bestandssystemen zoals ZFS (Unix / Linux), MacZFS, of Microsoft’s opkomende ReFS (Windows Server 2012, Windows 8.1) houden de belofte in dat ze veerkrachtiger en pro-actiever zijn in het aanpakken van dit soort data rot problemen. Zij zijn het bestandssysteem van de toekomst (totdat onze datasets groter en ouder worden, dat is. 🙂 ).
Tussen haakjes, de gereedschappen die terloops hierboven zijn genoemd zijn geenszins uitputtend. Als u een tool of methode hebt die dit probleem aanpakt, post het dan in de commentaarsectie. Iedereen zou van uw ervaring moeten leren.
== DEEL 2 ===
Tjonge, wat heb ik veel e-mail gekregen naar aanleiding van de blog van vorige maand! De meeste mensen hadden er geen idee van dat, ook al maakten ze regelmatig back-ups en controleerden ze het bestandssysteem regelmatig, hun waardevolle bestanden nog steeds kwetsbaar waren voor corruptie.
Dus heb ik geleerd dat elke keer als ik een zenuw zoals deze raak, het zinvol is om dieper te graven. Een van de beste suggesties uit de blog commentaren was de versterking van het idee om een meer geavanceerd bestandssysteem zoals ZFS (Unix) of ReFS (Microsoft Windows 8.1, een dwingende reden om te upgraden!) te gebruiken, dat is ontworpen om dit probleem te bestrijden. Een van de meest kosteneffectieve en gemakkelijkste manieren voor een technisch aangelegd persoon om dit te doen is door FreeNAS te downloaden en te installeren op wat oude computer hardware en dat als je server te laten fungeren. Het is gratis (behalve voor de hardware), en uw gegevens krijgen het extra beschermingsniveau dat het verdient zonder dat u van computer of besturingssysteem hoeft te wisselen.
Opties voor archiefopslag
Laten we het eens wat meer over archiefopslag hebben. CD’s en DVD’s zijn NIET de juiste manier, omdat ze een gemiddelde levensduur van 3-5 jaar hebben. Daarom spelen uw CD’s uit de jaren 80 waarschijnlijk niet meer zo goed af. Dit soort vergankelijke opslag baart de Library of Congress grote zorgen, die momenteel onderzoek doet naar dit probleem – ze zijn zelfs actief op zoek naar uw donaties van CD’s en DVD’s die niet meer afspelen voor autopsies. Hier volgt een beknopte probleemstelling uit het tijdschrift Atlantic.
Er was eens een speciale CD (nu ook DVD) waarvan de reflecterende laag van goud was gemaakt, de beste optie die er was. Aanvankelijk gemaakt door Kodak en nu aangeboden door Verbatim (onder anderen), beweren ze 100 jaar houdbaar te zijn, maar dit artikel zegt dat ze misschien niet leesbaar zijn in elke DVD lezer omdat de goudlaag niet zo reflecterend is als het gemakkelijk afbreekbare zilver. Wat is beter? De Taiyo-Yuden / JVC Thermal-Lacquer DVD die de hoogst gewaardeerde compatibiliteit heeft en naar verluidt ongeveer 80 jaar meegaat.
Dan is er MDISC, het bedrijf dat beweert 1.000 jaar houdbaarheid te hebben voor DVD en Blu-Ray discs en overal leesbaar is. Het gebruikt een speciaal aangepaste schrijver zoals deze, en de platters kosten ongeveer $3 per stuk voor DVD en $5 per stuk voor Blu-Ray. Niet slecht.
Iedereen die begint te mekkeren over “Ja, maar zullen er over 1000 jaar nog lezers zijn?” stelt de verkeerde vraag. Na het lezen van recente verslagen over de inspanningen die nodig waren om Andy Warhol’s digitale kunst te herstellen van zijn oude Amiga floppy disks, of de enorme onderneming om de originele Earthrise afbeelding te herstellen van oude NASA tapes, realiseer je je snel dat je geen 1000 jaar (of zelfs 50 jaar) hoeft te wachten tot dingen onleesbaar worden. Ik ga hier misschien wel in investeren, want ik heb de illusie dat mijn spullen de moeite waard zijn om te bewaren. Mijn vader is ook erg bezorgd over de levensduur van familiefilms. (Hij weet niet dat het originele filmformaat veel, veel langer meegaat dan de VHS kopie of de latere DVD incarnatie. Oh, de ironie!)
Leave a Reply