Zapobieganie gniciu bitów

Martwię się o zanik danych. Bardzo. Na moim dysku twardym mam już kilkaset uszkodzonych plików .jpgs, których standardowe programy sprawdzające system plików, takie jak CHKDSK (używany w systemie Microsoft Windows), nie były w stanie znaleźć ani naprawić.

Problem ten ma dwie główne przyczyny: 1) fizyczne nośniki tracą orientację i siłę magnetyczną (jest to rodzaj problemu, w którego znajdowaniu i usuwaniu CHKDSK i leżący u jego podstaw system plików zazwyczaj przodują), oraz 2) podatne na błędy kopiowanie masowe podczas przenoszenia danych z jednego dysku twardego na drugi lub z aparatu fotograficznego do komputera. Zwykle przy takim kopiowaniu nie stosuje się kontroli weryfikacyjnych.

Kody wykrywania i korekcji błędów (takie jak te, które są stosowane na poziomie bitów za każdym razem, gdy dysk twardy zapisuje coś na dysku) są świetne w odzyskiwaniu błędów jednobitowych, ale nie są zaprojektowane do obsługi błędów dwubitowych (które są statystycznie znacznie mniej prawdopodobne) i dlatego istnieje duża szansa, że nigdy nie doświadczyłeś tego problemu.

Lustrzane odbicie dysków (i ogólnie konfiguracje RAID) nie pomogą Ci w tym przypadku, ponieważ jeśli w pliku wystąpi błąd, zostanie on po prostu skopiowany na drugi dysk.

Co robić? Cóż, nie ma obecnie automatycznego rozwiązania typu „ustaw i zapomnij” (wyczuwam okazję biznesową!), jednak istnieją pewne narzędzia dostępne dla poważnych archiwistów:

1) Istnieją narzędzia do weryfikacji integralności plików. Sposób ich działania polega na tym, że masz program do skanowania zdrowego katalogu i będzie generować to, co jest znane jako „hash” (które można myśleć o jako złożona suma kontrolna). Następnie można uruchomić ten sam program skanujący w przyszłości i będzie ponownie obliczyć hash i porównać go do starych, informując, czy którykolwiek z oryginalnych plików uległy zmianie. Narzędzie nie patrzy tylko na dane i czas, ale na całość 1’s i 0’s w pliku. Jednym z popularnych narzędzi jest ExactFile. Wadą tych programów jest to, że gdy problem zostanie znaleziony, co wtedy zrobisz? Nie jest jasne, co można zrobić, aby odzyskać od błędu. Innym minusem jest to, że za każdym razem, gdy celowo uzyskujesz dostęp / modyfikujesz ten plik, musisz ponownie wygenerować hash. (TRZECIM minusem jest to, że musisz mieć dalekowzroczność, aby wygenerować hashe zanim zacznie się rotacja danych.)

2) Istnieją darmowe narzędzia, które możesz pobrać, które przeszukują wszystkie katalogi dla określonych typów plików (takich jak pliki graficzne) i sprawdzają, czy są uszkodzone. (Niektóre z nich działają również na plikach filmowych i innych plikach specjalnego przeznaczenia. Ale nie widziałem ŻADNEGO narzędzia, które może pracować na wielu typach plików, w tym plików Microsoft Office na przykład). Oto jeden, którego osobiście użyłem, aby odkryć setki uszkodzonych plików .jpg na moim dysku twardym, i jest wersja dla komputerów Mac, jak również PC:

Okay, więc po znalezieniu niektórych uszkodzonych plików graficznych, jak można je naprawić? Z mojego doświadczenia wynika, że programy naprawiające pliki JPG są tak samo skuteczne i przewidywalne jak programy próbujące odzyskać obrazy z uszkodzonych kart pamięci – to gówniany strzał. Spędziłem kilka dni przeglądając niezliczone recenzje stron internetowych z programami do naprawy plików .jpg i albo nie byłem zachwycony współczynnikiem sukcesu, albo nie byłem zachwycony metodą testowania autora artykułu. Nie mogę więc niczego polecić, ponieważ nie odniosłem sukcesu z tymi kilkoma, które wypróbowałem. (A jeśli coś zadziałało dla mnie, to niekoniecznie zadziała dla Ciebie.)

Jednakże w moich badaniach byłem w stanie odkryć dziwaczną stronę internetową, która oferuje usługę odzyskiwania plików .jpg, a jeśli ich automatyczne narzędzie nie może tego zrobić dla Ciebie, to mówią, że mają doświadczony personel, który wejdzie i NAPRAWI .JPG RĘCZNIE, analizując strukturę i wykonując edycję na poziomie bajtów. (Nic nie pobije stary sposób!) Jeśli naprawdę wiesz, co robisz, ta metoda posiada obietnicę najwyższej możliwej stopy odzysku. Oto ich strona internetowa i inna witryna.

Zapobieganie

Są dwie rzeczy, które powinieneś zrobić TERAZ, aby uchronić się przed utratą danych w przyszłości:

1) Pamiętaj, że ŚREDNIO nawet najtrwalszy nośnik pamięci masowej prawdopodobnie zużyje się po 5 latach. Oprócz regularnego, codziennego tworzenia kopii zapasowych (i utrzymywania trzeciego zestawu poza siedzibą firmy w celu ochrony przed pożarem lub kradzieżą), zdecydowanie zalecam wdrażanie Replikacji / Odświeżania danych co około 3 lata. Oznacza to zasadniczo kopiowanie całego zestawu danych na nowy dysk twardy co jakiś czas. Chociaż pomoże to chronić przed magnetyczną utratą niektórych bitów, jeśli masz już uszkodzone pliki .jpgs z powodu niechlujnego kopiowania, to te uszkodzone pliki zostaną skopiowane zbyt.

2) Przestań kopiować pliki za pomocą menedżera plików komputera (Finder lub Eksplorator Windows) i zacznij używać kopiowania plików I WERYFIKACJI programu jak Teracopy (Windows) lub Ultracopier (dla OSX, Linux, i Windows). Te programy zajmują dwa razy więcej czasu, ale wyeliminowałyby główne źródło moich uszkodzonych plików .jpgs, gdybym używał ich od pierwszego dnia.

3) Zaawansowani użytkownicy: Przemysłowe systemy plików, takie jak ZFS (Unix / Linux), MacZFS, lub nadchodzący ReFS Microsoftu (Windows Server 2012, Windows 8.1), obiecują być bardziej odporne i proaktywne w rozwiązywaniu tego typu problemów związanych z utratą danych. Są to systemy plików przyszłości (dopóki nasze zbiory danych nie staną się większe i starsze, to jest 🙂 ).

Przy okazji, narzędzia wspomniane powyżej nie są w żaden sposób wyczerpujące. Jeśli masz narzędzie lub metodę, która zajmuje się tym problemem, proszę opublikuj ją w sekcji komentarzy. Każdy powinien uczyć się z Twojego doświadczenia.

== CZĘŚĆ 2 ===

Chłopcze, czy dostałem dużo e-maili z zeszłomiesięcznego bloga! Większość ludzi nie miała pojęcia, że nawet jeśli robili regularne kopie zapasowe i regularnie sprawdzali system plików, ich cenne pliki były nadal podatne na uszkodzenia.

Więc nauczyłem się, że za każdym razem, gdy trafiam na nerw jak ten, sensowne jest zagłębienie się w temat. Jedną z najlepszych sugestii, jaka pojawiła się w komentarzach na blogu, było wzmocnienie idei używania bardziej zaawansowanego systemu plików, takiego jak ZFS (Unix) lub ReFS (Microsoft Windows 8.1, przekonujący powód do aktualizacji właśnie tam!), który został zaprojektowany do walki z tym właśnie problemem. Jednym z najbardziej opłacalnych i najłatwiejszych sposobów dla osób uzdolnionych technicznie jest pobranie i zainstalowanie FreeNAS na starym sprzęcie komputerowym, który będzie pełnił rolę serwera. Jest to darmowe (z wyjątkiem sprzętu), a Twoje dane otrzymują dodatkowy poziom ochrony, na który zasługują, bez konieczności zmiany komputera lub systemu operacyjnego.

Opcje archiwalnego przechowywania

Porozmawiajmy trochę więcej o archiwalnym przechowywaniu. Płyty CD i DVD NIE są najlepszym rozwiązaniem, ponieważ ich średnia trwałość danych wynosi 3-5 lat. To dlatego twoje płyty CD z lat 80-tych prawdopodobnie nie grają już zbyt dobrze. Ten rodzaj nietrwałości pamięci masowej bardzo niepokoi Bibliotekę Kongresu, która obecnie bada ten problem – w rzeczywistości aktywnie poszukuje darowizn płyt CD i DVD, które już nie grają, w celu przeprowadzenia autopsji. Oto zwięzły opis problemu z magazynu Atlantic.

Once upon a time the best option out there was a special CD (now, DVD too) whose reflective layer was made out of Gold. Początkowo wykonane przez Kodaka, a teraz oferowane przez Verbatim (między innymi), twierdzą 100-letnią trwałość, ale ten artykuł mówi, że mogą nie być odczytywane w każdym czytniku DVD, ponieważ warstwa złota nie jest tak odblaskowa jak łatwo rozkładające się srebro. Co jest lepsze? Taiyo-Yuden / JVC Thermal-Lacquer DVD, który ma najwyższą ocenianą kompatybilność i mówi się, że trwa około 80 lat.

Potem jest MDISC, firma, która twierdzi, że ma 1,000 lat trwałości dla dysków DVD i Blu-Ray i jest czytelny wszędzie. Używa specjalnie zmodyfikowanej nagrywarki, takiej jak ta, a talerze kosztują około 3 dolarów za sztukę w przypadku DVD i 5 dolarów za sztukę w przypadku Blu-Ray. Not bad.

Anyone who starts driveling about „Yes, but will there be readers around 1,000 years from now?” is asking the wrong question. Po przeczytaniu ostatnich relacji na temat poziomu wysiłku wymaganego do odzyskania cyfrowej sztuki Andy’ego Warhola z jego starych dyskietek Amigi, lub ogromnego przedsięwzięcia mającego na celu wskrzeszenie oryginalnego obrazu wschodu Ziemi ze starych taśm NASA, szybko zdajemy sobie sprawę, że nie trzeba czekać 1000 lat (lub nawet 50 lat), aby rzeczy stały się nieczytelne. Może faktycznie zainwestuję w to, bo mam złudzenie, że moje rzeczy są warte zachowania. Mój ojciec jest również bardzo zaniepokojony długowiecznością filmów familijnych. (Nie wie, że oryginalny format filmu przetrwa o wiele, wiele dłużej niż kopia VHS lub późniejsze wcielenie DVD. Ach, ta ironia!)

.