Předcházení hnilobě bitů

Mám obavy z rozpadu dat. Hodně. Na svém pevném disku mám již několik stovek poškozených souborů .jpgs, které standardní programy pro kontrolu souborového systému, jako je CHKDSK (používaný v systému Microsoft Windows), nedokázaly najít ani opravit.

Problém má dvě hlavní příčiny: 1) fyzické médium ztrácí svou magnetickou orientaci a pevnost (to je druh problému, který CHKDSK a základní souborový systém obvykle umí najít a opravit), a 2) hromadné kopírování náchylné k chybám při přenosu dat z jednoho pevného disku na druhý nebo z fotoaparátu do počítače. Obvykle se při takovém kopírování nepoužívají žádné ověřovací kontroly.

Kódy pro detekci a opravu chyb (například ty, které se používají na bitové úrovni pokaždé, když pevný disk něco zapíše na disk) jsou skvělé při obnově jednobitové chyby, ale nejsou navrženy pro zpracování dvoubitových chyb (které jsou statisticky mnohem méně pravděpodobné), což je důvod, proč je velká pravděpodobnost, že jste se s tímto problémem sami nikdy nesetkali.

Zrcadlení disků (a konfigurace RAID obecně) vám zde nepomůže, protože pokud je v souboru chyba, jednoduše se zkopíruje na druhý disk.

Co dělat? V tuto chvíli neexistuje žádné automatické řešení typu „nastav a zapomeň“ (cítím obchodní příležitost!), nicméně seriózní archiváři mají k dispozici některé nástroje:

1) Existují nástroje pro ověření integrity souborů. Fungují tak, že necháte program prohledat zdravý adresář a on vygeneruje takzvaný „hash“ (který si můžete představit jako komplexní kontrolní součet). V budoucnu pak můžete spustit stejný skenovací program a ten znovu vypočítá hash a porovná jej se starým a řekne vám, zda se některý z vašich původních souborů změnil. Nástroj se nedívá pouze na data a čas, ale na celý počet jedniček a nul v souboru. Jeden z populárních nástrojů se nazývá ExactFile. Nevýhodou těchto programů je, že jakmile je nalezen problém, co pak uděláte? Není jasné, co můžete udělat, abyste chybu odstranili. Další nevýhodou je, že při každém záměrném přístupu k danému souboru / jeho úpravě musíte hash znovu vygenerovat. (TŘETÍ nevýhodou je, že musíte být prozíraví a vygenerovat hash dříve, než začne hnití dat.)

2) Existují bezplatné nástroje, které si můžete stáhnout a které prohledávají všechny adresáře pro konkrétní typy souborů (např. obrazové soubory) a zjišťují, zda nejsou poškozené. (Některé fungují i na soubory filmů a další soubory pro speciální účely. Neviděl jsem však ŽÁDNÝ nástroj, který by dokázal pracovat s mnoha typy souborů, včetně například souborů Microsoft Office). Zde je jeden, který jsem osobně použil k odhalení stovek poškozených souborů .jpgs na svém pevném disku, a existuje verze pro počítače Mac i PC:

Dobře, takže když jste našli nějaké poškozené obrazové soubory, jak je lze opravit? Podle mých zkušeností jsou programy na opravu .JPG asi tak účinné a předvídatelné jako ty programy, které se snaží obnovit obrázky z poškozených paměťových karet – je to blbost. Strávil jsem několik dní procházením nesčetných webových recenzí programů pro opravu souborů .jpg a buď na mě neudělala dojem úspěšnost, nebo mě neoslovila testovací metoda autora článku. Takže vlastně nemohu nic doporučit, protože s těmi několika, které jsem vyzkoušel, jsem neměl velký úspěch. (A pokud něco fungovalo u mě, nemusí to nutně fungovat u vás.)

Však při svém výzkumu jsem byl schopen objevit podivnou webovou stránku, která nabízí službu obnovy .jpg, a pokud to jejich automatický nástroj nedokáže, pak říkají, že mají zkušené zaměstnance, kteří půjdou a opraví .jpg ručně tím, že analyzují strukturu a provedou úpravu na úrovni bajtů. (Nic se nevyrovná starému způsobu!) Pokud opravdu víte, co děláte, je tato metoda příslibem nejvyšší možné míry obnovy. Zde je jejich webová stránka a další webová stránka.

Prevence

Jsou dvě věci, které byste měli udělat TEĎ, abyste se ochránili před budoucím hnitím dat:

1) Pamatujte, že V PRŮMĚRU se i to nejodolnější paměťové médium pravděpodobně opotřebuje po 5 letech. Kromě pravidelného každodenního zálohování (a udržování rotující třetí sady mimo pracoviště pro ochranu před požárem nebo krádeží) důrazně doporučuji zavést zhruba každé 3 roky Replikaci / Obnovení dat. To v podstatě znamená, že jednou za čas zkopírujete celou sadu dat na nový pevný disk. To vám sice pomůže ochránit se před magnetickou ztrátou určitých bitů, ale pokud již máte poškozené soubory .jpgs v důsledku nedbalého kopírování, pak se tyto poškozené soubory zkopírují také.

2) Přestaňte kopírovat soubory pomocí správce souborů v počítači (Finder nebo Průzkumník Windows) a začněte používat program pro kopírování souborů A OVĚŘOVÁNÍ, jako je Teracopy (Windows) nebo Ultracopier (pro OSX, Linux a Windows). Tyto programy trvají dvakrát déle, ale kdybych je používal od prvního dne, odstranily by hlavní zdroj mých poškozených souborů .jpgs.

3) Pokročilí uživatelé: Průmyslově silné souborové systémy, jako je ZFS (Unix/Linux), MacZFS nebo připravovaný systém ReFS společnosti Microsoft (Windows Server 2012, Windows 8.1), jsou příslibem větší odolnosti a proaktivního řešení těchto druhů problémů s rotací dat. Jsou to souborové systémy budoucnosti (tedy dokud naše datové soubory nebudou větší a starší 🙂 ).

Mimochodem, výše náhodně zmíněné nástroje nejsou v žádném případě vyčerpávající. Pokud máte nástroj nebo metodu, která tento problém řeší, napište ji prosím do komentářů. Každý by se měl poučit z vašich zkušeností.

=== ČÁST 2 ===

Bože, z minulého blogu mi přišlo hodně e-mailů! Většina lidí netušila, že i když pravidelně zálohují a pravidelně provádějí kontrolu souborového systému, jejich cenné soubory jsou STÁLE náchylné k poškození.

Takže jsem se naučil, že pokaždé, když narazím na podobný nerv, má smysl se ponořit hlouběji. Jedním z nejlepších návrhů, které v komentářích na blogu zazněly, bylo posílení myšlenky používat pokročilejší souborový systém, jako je ZFS (Unix) nebo ReFS (Microsoft Windows 8.1, hned pádný důvod k upgradu!), který je navržen právě pro boj s tímto problémem. Jedním z nejschůdnějších a nejjednodušších způsobů pro technicky zaměřené osoby je stáhnout a nainstalovat FreeNAS na nějaký starý počítačový hardware a nechat ho fungovat jako server. Je to zdarma (kromě hardwaru) a vaše data získají dodatečnou úroveň ochrany, kterou si zaslouží, aniž byste museli měnit počítače nebo operační systémy.

Možnosti archivního úložiště

Povíme si něco více o archivním úložišti. Disky CD a DVD NEJSOU vhodnou volbou, protože mají PRŮMĚRNOU životnost dat 3-5 let. Proto se vaše CD z 80. let už pravděpodobně příliš dobře nepřehrávají. Tento druh nestálosti úložišť značně znepokojuje Kongresovou knihovnu, která v současné době tento problém zkoumá – ve skutečnosti aktivně shání vaše dary CD a DVD, které už nepřehrávají, pro pitvu. Zde je stručné vyjádření problému z časopisu Atlantic:

Kdysi dávno byla nejlepší možností speciální CD (nyní i DVD), jejichž reflexní vrstva byla vyrobena ze zlata. Původně je vyráběl Kodak a nyní je nabízí Verbatim (mimo jiné) a tvrdí, že jsou trvanlivé 100 let, ale v tomto článku se píše, že nemusí být čitelné v každé čtečce DVD, protože zlatá vrstva není tak reflexní jako snadno se rozkládající stříbro. Co je lepší? Taiyo-Yuden / JVC Thermal-Lacquer DVD, který má nejvyšší hodnocenou kompatibilitu a údajně vydrží asi 80 let.

Pak je tu MDISC, společnost, která tvrdí, že disky DVD a Blu-Ray mají životnost 1000 let a jsou čitelné všude. Používá speciálně upravenou vypalovačku, jako je tato, a plotny stojí asi 3 dolary za kus pro DVD a 5 dolarů za kus pro Blu-Ray. To není špatné.

Každý, kdo začne blábolit na téma „Ano, ale budou tu za 1000 let ještě nějaké čtečky?“, se ptá špatně. Po přečtení nedávných zpráv o míře úsilí, které si vyžádalo obnovení digitálního umění Andyho Warhola z jeho starých disket Amiga, nebo o obrovském úsilí, které si vyžádalo obnovení původního snímku východu Země ze starých pásek NASA, si člověk rychle uvědomí, že nemusíte čekat 1000 let (nebo dokonce 50 let), aby se věci staly nečitelnými. Možná do toho skutečně investuji, protože si dělám iluze, že moje věci stojí za uchování. Také můj otec se velmi zajímá o trvanlivost rodinných filmů. (Netuší, že původní formát filmu vydrží mnohem, mnohem déle než kopie na VHS nebo následná inkarnace na DVD. Ach, ta ironie!)