Forebyggelse af bitråd

Jeg er bekymret over dataforfald. Meget. Jeg har allerede et par hundrede korrupte .jpgs på min harddisk, som standardprogrammer til kontrol af filsystemet som CHKDSK (der bruges i Microsoft Windows) ikke har kunnet finde eller rette.

Problemet har to hovedårsager: 1) fysiske medier, der mister deres magnetiske orientering og styrke (det er den slags problemer, som CHKDSK og det underliggende filsystem normalt udmærker sig ved at finde og løse), og 2) fejlbehæftet massekopiering ved overførsel af data fra en harddisk til en anden eller fra kameraet til computeren. Normalt anvender en sådan kopiering ingen verifikationskontrol.

Fejldetekterings- og korrektionskoder (som den slags, der anvendes på bitniveau, hver gang din harddisk skriver noget til disken) er gode til at genoprette en enkelt bitfejl, men er ikke designet til at håndtere to bitfejl (som statistisk set er langt mindre sandsynlige), hvilket er grunden til, at der er en god chance for, at du aldrig selv har oplevet problemet.

Diskspejling (og RAID-konfigurationer generelt) vil ikke hjælpe dig her, da hvis der er en fejl i filen, vil den blot blive kopieret over på den anden disk.

Hvad skal du gøre? Tja, der er ingen automatisk sæt-det-og-smid-væk-løsning lige nu (jeg lugter en forretningsmulighed!), men der er dog nogle værktøjer til rådighed for den seriøse arkivar:

1) Der findes værktøjer til verifikation af filintegritet derude. Den måde, de fungerer på, er, at du får programmet til at scanne en sund mappe, og det vil generere det, der er kendt som en “hash” (som du kan tænke på som en kompleks kontrolsum). Du kan derefter køre det samme scanningsprogram i fremtiden, og det vil genberegne hash’erne og sammenligne dem med de gamle og fortælle dig, om nogen af dine oprindelige filer er ændret. Værktøjet ser ikke kun på data og tid, men på hele mængden af 1’er og 0’er i filen. Et populært værktøj hedder ExactFile. Ulempen ved disse programmer er, at når først et problem er fundet, hvad gør du så? Det er ikke klart, hvad du kan gøre for at genoprette fejlen. Den anden ulempe er, at hver gang du med vilje får adgang til/ændrer filen, skal du generere hash’en igen. (Den TREDJE ulempe er, at du skal være forudseende nok til at generere hash’erne, inden datarotten begynder.)

2) Der findes gratis værktøjer, du kan downloade, som søger i alle mapper efter bestemte filtyper (f.eks. billedfiler) og kontrollerer, om de er beskadiget. (Nogle virker også på filmfiler og andre filer til særlige formål. Men jeg har ikke set noget værktøj, der kan arbejde på et væld af filtyper, herunder f.eks. Microsoft Office-filer). Her er et, som jeg personligt har brugt til at afdække hundredvis af korrupte .jpgs på min harddisk, og der findes en version til Macs såvel som PC’er:

Okay, så når du har fundet nogle korrupte billedfiler, hvordan kan de så rettes? Min erfaring er, at .JPG-reparationsprogrammer er omtrent lige så effektive og forudsigelige som de programmer, der forsøger at gendanne billeder fra beskadigede hukommelseskort – det er noget lort. Jeg har brugt et par dage på at gennemgå utallige anmeldelser på hjemmesider af .jpg-reparationsprogrammer, og jeg var enten uimponeret over succesraten eller uimponeret over den testmetode, som artiklens forfatter havde anvendt. Så jeg kan faktisk ikke anbefale noget, fordi jeg ikke har haft megen succes med de få, jeg har prøvet. (Og hvis noget virkede for mig, så ville det ikke nødvendigvis virke for dig.)

Men i min research var jeg dog i stand til at afdække et finurligt websted, der tilbyder en .jpg recovery service, og hvis deres automatiske værktøj ikke kan gøre det for dig, så siger de, at de har et erfarent personale, der vil gå ind og FIKSE .JPG’en MED HÅND ved at analysere strukturen og foretage en redigering på byte-niveau. (Der er intet bedre end den gammeldags metode!) Hvis du virkelig ved, hvad du gør, lover denne metode den højest mulige genoprettelsesprocent. Her er deres hjemmeside og deres anden hjemmeside.

Forebyggelse

Der er to ting, du bør gøre NU for at hjælpe dig med at beskytte dig mod fremtidig datarot:

1) Husk, at IGENnemsnitligt vil selv det mest holdbare lagringsmedie sandsynligvis blive slidt op efter 5 år. Ud over regelmæssige, daglige sikkerhedskopier (og opbevaring af et roterende 3. sæt offsite for at beskytte mod brand eller tyveri) anbefaler jeg kraftigt at gennemføre en datareplikering/opdatering hvert 3. år eller deromkring. Det betyder i princippet, at du kopierer hele dit datasæt over på en ny harddisk med jævne mellemrum. Mens dette vil hjælpe dig med at beskytte dig mod magnetisk tab af visse bits, hvis du allerede har beskadigede .jpgs på grund af sjusket kopiering, så vil disse beskadigede filer også blive kopieret.

2) Stop med at kopiere filer ved hjælp af din computers filhåndteringsprogram (Finder eller Windows Explorer) og begynd at bruge et filkopierings- OG VERIFIERINGsprogram som Teracopy (Windows) eller Ultracopier (til OSX, Linux og Windows). Disse programmer tager dobbelt så lang tid, men de ville have elimineret den primære kilde til mine beskadigede .jpgs, hvis jeg havde brugt dem fra dag 1.

3) Avancerede brugere: Industrielle stærke filsystemer som ZFS (Unix/Linux), MacZFS eller Microsofts kommende ReFS (Windows Server 2012, Windows 8.1) lover at være mere modstandsdygtige og proaktive med hensyn til at løse denne slags problemer med datarot. De er fremtidens filsystem (indtil vores datasæt bliver større og ældre, det vil sige. 🙂 ).

Og forresten er de værktøjer, der tilfældigt er nævnt ovenfor, på ingen måde udtømmende. Hvis du har et værktøj eller en metode, der løser dette problem, bedes du skrive det i kommentarfeltet. Alle bør lære af dine erfaringer.

=== DEL 2 ===

Boy, hvor fik jeg mange e-mails fra sidste måneds blog! De fleste mennesker havde ingen anelse om, at selv om de lavede regelmæssige sikkerhedskopier, og de lavede en filsystemkontrol regelmæssigt, var deres værdifulde filer STADIG sårbare over for korruption.

Så jeg har lært, at hver gang jeg rammer en nerve som denne, giver det mening at dykke dybere ned. Et af de bedste forslag, der kom ud af blogkommentarerne, var en styrkelse af ideen om at bruge et mere avanceret filsystem som ZFS (Unix) eller ReFS (Microsoft Windows 8.1, en tvingende grund til at opgradere lige der!), som er designet til at bekæmpe netop dette problem. En af de mest omkostningseffektive og nemmeste måder for en teknisk anlagt person at gøre dette på er at downloade og installere FreeNAS på noget gammelt computerhardware og lade det fungere som din server. Det er gratis (bortset fra hardwaren), og dine data får det ekstra beskyttelsesniveau, de fortjener, uden at du behøver at skifte computer eller operativsystem.

Arkival opbevaringsmuligheder

Lad os tale lidt mere om arkiveringsopbevaring. CD’er og DVD’er er IKKE den rigtige løsning, da de har en gennemsnitslevetid for data på 3-5 år. Det er derfor, at dine cd’er fra 80’erne sandsynligvis ikke spiller så godt længere. Denne form for ubestemthed i forbindelse med lagring bekymrer i høj grad Kongresbiblioteket, som i øjeblikket er i gang med at undersøge problemet – faktisk søger de aktivt dine donationer af cd’er og dvd’er, der ikke længere spiller, til obduktioner. Her er en kortfattet problemformulering fra Atlantic Magazine:

Dengang var den bedste løsning derude en særlig cd (nu også dvd), hvis reflekterende lag var lavet af guld. De blev oprindeligt fremstillet af Kodak og tilbydes nu af Verbatim (blandt andre), og de hævder 100 års holdbarhed, men i denne artikel står der, at de måske ikke kan læses i alle DVD-læsere, fordi guldlaget ikke er så reflekterende som det let nedbrydelige sølv. Hvad er bedre? Taiyo-Yuden / JVC Thermal-Lacquer DVD’en, som har den højest vurderede kompatibilitet og siges at holde omkring 80 år.

Så er der MDISC, firmaet, som hævder at have 1.000 års holdbarhed for DVD- og Blu-Ray-diske og kan læses overalt. Det bruger en specielt modificeret brænder som denne, og pladerne koster ca. 3 dollars pr. stk. for DVD og 5 dollars pr. stk. for Blu-Ray. Ikke dårligt.

Alle, der begynder at vrøvle om “Ja, men vil der være læsere til stede om 1.000 år fra nu af?”, stiller det forkerte spørgsmål. Efter at have læst de seneste beretninger om den indsats, der er nødvendig for at genskabe Andy Warhols digitale kunst fra hans gamle Amiga-disketter, eller den massive indsats for at genoplive det originale billede af Earthrise fra gamle NASA-bånd, indser man hurtigt, at man ikke behøver at vente 1.000 år (eller endda 50 år) på, at ting bliver ulæselige. Jeg investerer måske faktisk i dette, fordi jeg har den illusion, at mine ting er værd at beholde. Desuden er min far også meget optaget af familiefilmenes levetid. (Han ved ikke, at det originale filmformat vil holde meget, meget længere end enten VHS-kopien eller den efterfølgende DVD-inkarnation. Åh, hvilken ironi!)