Förhindra Bit Rot

Jag oroar mig för dataförfall. Mycket. Jag har redan några hundra korrupta .jpgs på min hårddisk som standardprogram för kontroll av filsystemet som CHKDSK (som används i Microsoft Windows) inte har kunnat hitta eller åtgärda.

Problemet har två huvudorsaker: 1) fysiska medier förlorar sin magnetiska orientering och styrka (detta är den typ av problem som CHKDSK och det underliggande filsystemet vanligtvis är utmärkta på att hitta och åtgärda), och 2) felbenägen masskopiering vid överföring av data från en hårddisk till en annan, eller från kameran till datorn. Vanligtvis används inga verifieringskontroller vid sådan kopiering.

Felupptäcknings- och korrigeringskoder (av den typ som används på bitnivå varje gång din hårddisk skriver något till disken) är utmärkta för att återställa ett bitfel, men är inte utformade för att hantera två bitfel (som statistiskt sett är mycket mindre sannolika), vilket är anledningen till att det finns en god chans att du aldrig har upplevt problemet själv.

Diskspegling (och RAID-konfigurationer i allmänhet) kommer inte att hjälpa dig här, eftersom om det finns ett fel i filen kommer den helt enkelt att kopieras till den andra disken.

Vad ska man göra? Tja, det finns ingen automatisk set-it-and-forget-it-lösning just nu (jag känner lukten av en affärsmöjlighet!), men det finns några verktyg tillgängliga för den seriösa arkivarien:

1) Det finns verktyg för verifiering av filintegritet. Det sätt som de fungerar på är att du låter programmet skanna en sund katalog och det kommer att generera en så kallad ”hash” (som du kan tänka dig som en komplex kontrollsumma). Du kan sedan köra samma skanningsprogram i framtiden och det kommer att räkna om hasherna och jämföra dem med de gamla och tala om för dig om någon av dina ursprungliga filer har ändrats. Verktyget tittar inte bara på data och tid, utan på helheten av 1:or och 0:or i filen. Ett populärt verktyg heter ExactFile. Nackdelen med dessa program är att när man väl har hittat ett problem, vad gör man då? Det är inte klart vad du kan göra för att återhämta dig från felet. Den andra nackdelen är att varje gång du avsiktligt får tillgång till/modifierar filen måste du generera hashen på nytt. (Den TREDJE nackdelen är att man måste ha förutseende nog att generera hashen innan datarötningen börjar.)

2) Det finns kostnadsfria verktyg som du kan ladda ner och som söker i alla kataloger efter specifika filtyper (t.ex. bildfiler) och kontrollerar om de är skadade. (Vissa fungerar även på filmfiler och andra specialfiler. Men jag har inte sett något verktyg som kan fungera på en mängd olika filtyper, inklusive Microsoft Office-filer till exempel). Här är ett som jag personligen använde för att avslöja hundratals korrupta .jpgs på min hårddisk, och det finns en version för Macs såväl som för PC:

Okej, så när du väl har hittat några korrupta bildfiler, hur kan de åtgärdas? Enligt min erfarenhet är .JPG-reparationsprogram ungefär lika effektiva och förutsägbara som de program som försöker återställa bilder från skadade minneskort – det är en skitstövel. Jag har ägnat några dagar åt att gå igenom oräkneliga webbplatsrecensioner av .jpg-reparationsprogram och jag var antingen ointresserad av framgångsfrekvensen eller ointresserad av testmetoden hos artikelförfattaren. Så jag kan faktiskt inte rekommendera något eftersom jag inte har haft någon större framgång med de få som jag har provat. (Och om något fungerade för mig så skulle det inte nödvändigtvis fungera för dig.)

Hursomhelst, i min forskning kunde jag avslöja en udda webbplats som erbjuder en .jpg-återställningstjänst, och om deras automatiska verktyg inte kan göra det för dig så säger de att de har en erfaren personal som går in och FÄRDIGAR .jpg:n för hand genom att analysera strukturen och göra en ändring på byte-nivå. (Inget slår det gamla vanliga sättet!) Om du verkligen vet vad du gör lovar denna metod högsta möjliga återställningsgrad. Här är deras hemsida och deras andra hemsida.

Förebyggande

Det finns två saker som du bör göra NU för att hjälpa till att skydda dig mot framtida dataförstörning:

1) Kom ihåg att I GENOMSNITT kommer även det mest hållbara lagringsmediet förmodligen att slitas ut efter 5 år. Förutom regelbundna, dagliga säkerhetskopior (och att hålla en roterande tredje uppsättning utanför lagringsutrymmet för att skydda mot brand eller stöld) rekommenderar jag starkt att man genomför en replikering/uppdatering av data vart tredje år eller så. Detta innebär i huvudsak att man kopierar hela datamängden till en ny hårddisk med jämna mellanrum. Även om detta hjälper dig att skydda dig mot magnetisk förlust av vissa bitar, om du redan har skadade .jpgs på grund av slarvig kopiering så kommer dessa skadade filer också att kopieras.

2) Sluta kopiera filer med hjälp av datorns filhanterare (Finder eller Utforskaren i Windows) och börja använda ett program för att kopiera och verifiera filer som Teracopy (Windows) eller Ultracopier (för OSX, Linux och Windows). Dessa program tar dubbelt så lång tid, men de skulle ha eliminerat den primära källan till mina skadade .jpgs om jag hade använt dem från dag 1.

3) Avancerade användare: Industriellt starka filsystem som ZFS (Unix/Linux), MacZFS eller Microsofts kommande ReFS (Windows Server 2012, Windows 8.1) lovar att vara mer motståndskraftiga och proaktiva när det gäller att ta itu med den här typen av problem med dataröta. De är framtidens filsystem (tills våra datamängder blir större och äldre, det vill säga 🙂 ).

Förresten är verktygen som nämns tillfälligt ovan ingalunda uttömmande. Om du har ett verktyg eller en metod som tar upp det här problemet får du gärna skriva det i kommentarsfältet. Alla bör lära sig av dina erfarenheter.

== Del 2 ===

Jösses, vad jag fick mycket e-post från förra månadens blogg! De flesta hade ingen aning om att även om de gjorde regelbundna säkerhetskopior och gjorde en filsystemkontroll regelbundet, så var deras värdefulla filer fortfarande sårbara för korruption.

Så jag har lärt mig att varje gång jag träffar en sådan här nerv är det klokt att gå djupare ner i djupet. Ett av de bästa förslagen från bloggkommentarerna var förstärkningen av idén att använda ett mer avancerat filsystem som ZFS (Unix) eller ReFS (Microsoft Windows 8.1, en övertygande anledning att uppgradera just där!) som är utformat för att bekämpa just detta problem. Ett av de mest kostnadseffektiva och enklaste sätten för en tekniskt intresserad person att göra detta är att ladda ner och installera FreeNAS på någon gammal datorhårdvara och låta den fungera som server. Det är gratis (förutom hårdvaran), och dina data får det extra skydd de förtjänar utan att du behöver byta dator eller operativsystem.

Arkivlagringsalternativ

Låt oss prata lite mer om arkivlagring. CD- och DVD-skivor är INTE rätt alternativ, eftersom de har en genomsnittlig livslängd på 3-5 år. Det är därför dina cd-skivor från 80-talet förmodligen inte spelar så bra längre. Den här typen av lagringsproblem oroar i hög grad kongressbiblioteket, som för närvarande undersöker frågan – de söker faktiskt aktivt efter dina donationer av CD- och DVD-skivor som inte längre går att spela upp för obduktioner. Här är en kortfattad problembeskrivning från tidskriften Atlantic:

En gång i tiden var det bästa alternativet en speciell CD (numera även DVD) vars reflekterande skikt var gjort av guld. De tillverkades ursprungligen av Kodak och erbjuds nu av Verbatim (bland andra) och hävdar att de är 100 år bestående, men i den här artikeln sägs att de kanske inte kan läsas i alla DVD-läsare eftersom guldskiktet inte är lika reflekterande som det lätt nedbrytbara silvret. Vad är bättre? Taiyo-Yuden / JVC Thermal-Lacquer DVD som har den högst bedömda kompatibiliteten och sägs hålla i cirka 80 år.

Det finns också MDISC, företaget som hävdar att DVD- och Blu-Ray-skivor håller i 1 000 år och är läsbara överallt. Det använder en speciellt modifierad skrivare som den här, och plattorna kostar ungefär 3 dollar styck för DVD och 5 dollar styck för Blu-Ray. Inte illa.

Alla som börjar tjata om ”Ja, men kommer det att finnas läsare om 1 000 år från och med nu?” ställer fel fråga. Efter att ha läst de senaste rapporterna om hur mycket arbete som krävdes för att återskapa Andy Warhols digitala konst från hans gamla Amiga-disketter, eller det enorma företaget att återuppliva den ursprungliga bilden av Earthrise från gamla NASA-band, inser man snabbt att man inte behöver vänta 1 000 år (eller ens 50 år) för att saker och ting ska bli oläsbara. Jag kanske faktiskt kommer att investera i detta eftersom jag har en illusion om att mina saker är värda att behålla. Dessutom är min far också mycket bekymrad över familjefilmernas livslängd. (Han vet inte att det ursprungliga filmformatet kommer att hålla mycket, mycket längre än vare sig VHS-kopian eller den efterföljande DVD-inkarnationen. Åh, vilken ironi!)