Prevenirea putrezirii biților

Îmi fac griji cu privire la decăderea datelor. Foarte mult. Am deja câteva sute de .jpgs corupte pe hard disk-ul meu, pe care programele standard de verificare a sistemului de fișiere, cum ar fi CHKDSK (utilizat în Microsoft Windows), nu au reușit să le găsească sau să le repare.

Problema are două cauze principale: 1) suportul fizic care își pierde orientarea și puterea magnetică (acesta este genul de problemă pe care CHKDSK și sistemul de fișiere de bază excelează, de obicei, în a o găsi și a o rezolva) și 2) copierea în masă, predispusă la erori, atunci când se transferă datele de pe un hard disk pe altul sau de la aparatul foto la computer. De obicei, o astfel de copiere nu folosește verificări de verificare.

Codurile de detectare și corectare a erorilor (de genul celor care sunt folosite la nivel de bit de fiecare dată când hard disk-ul dvs. scrie ceva pe disc) sunt foarte bune pentru recuperarea erorilor pe un bit, dar nu sunt concepute pentru a gestiona erorile pe doi biți (care sunt, din punct de vedere statistic, mult mai puțin probabile), motiv pentru care există o mare probabilitate ca dvs. să nu fi experimentat niciodată această problemă.

Sincronizarea în oglindă a discurilor (și configurațiile RAID în general) nu vă vor ajuta aici, deoarece dacă există o eroare în fișier, acesta va fi pur și simplu copiat pe cel de-al doilea disc.

Ce trebuie făcut? Ei bine, nu există în acest moment o soluție automată de genul „set-it-and-forget-it” (simt mirosul unei oportunități de afaceri!), însă există câteva instrumente la dispoziția arhivistului serios:

1) Există instrumente de verificare a integrității fișierelor. Modul în care acestea funcționează este că puneți programul să scaneze un director sănătos și acesta va genera ceea ce se numește „hash” (la care vă puteți gândi ca la o sumă de control complexă). Puteți apoi să rulați același program de scanare în viitor, iar acesta va recalcula hash-urile și le va compara cu cele vechi, spunându-vă dacă vreunul dintre fișierele originale a fost modificat. Instrumentul nu se uită doar la date și timp, ci la totalitatea de 1 și 0 din fișier. Un instrument popular se numește ExactFile. Dezavantajul acestor programe este că, odată ce se găsește o problemă, ce trebuie să faceți? Nu este clar ce puteți face pentru a recupera eroarea. Celălalt dezavantaj este că, de fiecare dată când accesați/modificați în mod intenționat acel fișier, trebuie să generați din nou hash-ul. (Al TREILE dezavantaj este că trebuie să aveți previziunea de a genera hașurile înainte de a începe putrezirea datelor.)

2) Există instrumente gratuite pe care le puteți descărca și care caută în toate directoarele anumite tipuri de fișiere (cum ar fi fișierele de imagine) și verifică dacă sunt corupte. (Unele funcționează, de asemenea, pe fișiere de filme și alte fișiere cu scop special. Dar nu am văzut NICI un instrument care să funcționeze pe o multitudine de tipuri de fișiere, inclusiv fișiere Microsoft Office, de exemplu). Iată unul pe care eu personal l-am folosit pentru a descoperi sute de fișiere .jpg corupte de pe hard disk-ul meu, și există o versiune pentru Mac-uri, precum și pentru PC-uri:

Ok, deci odată ce ați găsit niște fișiere de imagine corupte, cum pot fi reparate? Din experiența mea, programele de reparare a fișierelor .JPG sunt la fel de eficiente și previzibile ca și acele programe care încearcă să recupereze imagini de pe carduri de memorie corupte – este o porcărie. Am petrecut câteva zile trecând în revistă nenumărate recenzii de pe site-urile web ale programelor de reparare .jpg și am fost fie neimpresionat de rata de succes, fie neimpresionat de metoda de testare a autorului articolului. Așa că, de fapt, nu pot recomanda nimic pentru că nu am avut prea mult succes cu cele câteva pe care le-am încercat. (Și dacă ceva a funcționat pentru mine, atunci nu va funcționa neapărat și pentru dumneavoastră.)

Cu toate acestea, în cercetările mele am reușit să descopăr un site ciudat care oferă un serviciu de recuperare a fișierelor .jpg, iar dacă instrumentul lor automat nu o poate face pentru dumneavoastră, atunci spun că au un personal experimentat care va merge și va FIXA manual fișierul .JPG, analizând structura și făcând o editare la nivel de octet. (Nimic nu este mai bun decât metoda de modă veche!) Dacă știți cu adevărat ce faceți, această metodă promite cea mai mare rată de recuperare posibilă. Iată website-ul lor și celălalt website al lor.

Prevenire

Există două lucruri pe care ar trebui să le faceți ACUM pentru a vă proteja de putrezirea viitoare a datelor:

1) Amintiți-vă că, ÎN MEDIE, chiar și cel mai rezistent mediu de stocare se va uza probabil după 5 ani. În plus față de copiile de rezervă zilnice și regulate (și păstrarea unui al treilea set rotativ în afara site-ului pentru a vă proteja împotriva incendiilor sau furturilor), vă recomand cu tărie să implementați o replicare / reîmprospătare a datelor la fiecare 3 ani sau cam așa ceva. Aceasta înseamnă, în esență, copierea întregului set de date pe un hard disk nou din când în când. În timp ce acest lucru vă va ajuta să vă protejați împotriva pierderii magnetice a anumitor biți, dacă aveți deja fișiere .jpg corupte din cauza copierii neglijente, atunci și acele fișiere corupte vor fi copiate.

2) Nu mai copiați fișiere utilizând managerul de fișiere al computerului (Finder sau Windows Explorer) și începeți să utilizați un program de copiere ȘI VERIFICARE a fișierelor, cum ar fi Teracopy (Windows) sau Ultracopier (pentru OSX, Linux și Windows). Aceste programe durează de două ori mai mult, dar ar fi eliminat sursa principală a fișierelor mele .jpg corupte dacă le-aș fi folosit din prima zi.

3) Utilizatori avansați: Sistemele de fișiere de putere industrială, cum ar fi ZFS (Unix / Linux), MacZFS sau viitorul ReFS de la Microsoft (Windows Server 2012, Windows 8.1) promit să fie mai rezistente și mai proactive în ceea ce privește rezolvarea acestor tipuri de probleme de putrezire a datelor. Acestea sunt sistemul de fișiere al viitorului (până când seturile noastre de date vor deveni mai mari și mai vechi, adică. 🙂 ).

Apropoi, instrumentele menționate întâmplător mai sus nu sunt în niciun caz exhaustive. Dacă aveți un instrument sau o metodă care abordează această problemă, vă rugăm să o postați în secțiunea de comentarii. Toată lumea ar trebui să învețe din experiența dumneavoastră.

=== PARTEA 2 ===

Băiete, am primit o mulțime de e-mailuri de la blogul de luna trecută! Cei mai mulți oameni habar nu aveau că, deși făceau backup-uri regulate și făceau o verificare a sistemului de fișiere în mod regulat, fișierele lor valoroase erau ÎNCĂ vulnerabile la corupție.

Așa că am învățat că, de fiecare dată când ating un nerv ca acesta, are sens să aprofundez. Una dintre cele mai bune sugestii care a reieșit din comentariile de pe blog a fost întărirea ideii de a utiliza un sistem de fișiere mai avansat, cum ar fi ZFS (Unix) sau ReFS (Microsoft Windows 8.1, un motiv convingător pentru a face upgrade chiar aici!), care este conceput pentru a combate exact această problemă. Una dintre cele mai rentabile și mai simple modalități pentru o persoană cu înclinații tehnice de a face acest lucru este să descarce și să instaleze FreeNAS pe un calculator vechi și să îl folosească drept server. Este gratuit (cu excepția hardware-ului), iar datele dvs. primesc nivelul suplimentar de protecție pe care îl merită, fără a fi nevoie să schimbați calculatorul sau sistemul de operare.

Opțiuni de stocare arhivistică

Să vorbim puțin mai mult despre stocarea arhivistică. CD-urile și DVD-urile NU sunt calea de urmat, deoarece acestea au o durată MEDIE de viață a datelor de 3-5 ani. De aceea, probabil că CD-urile dvs. din anii ’80 nu mai redau prea bine. Acest tip de impermanență a stocării îngrijorează foarte mult Biblioteca Congresului, care cercetează în prezent această problemă – de fapt, solicită în mod activ donațiile dumneavoastră de CD-uri și DVD-uri care nu mai sunt redate pentru autopsii. Iată o expunere succintă a problemei din revista Atlantic.

Cândva, cea mai bună opțiune existentă era un CD special (acum, și DVD) al cărui strat reflectorizant era făcut din aur. Fabricate inițial de Kodak și oferite acum de Verbatim (printre alții), ele pretind o permanență de 100 de ani, dar acest articol spune că s-ar putea să nu poată fi citite în orice cititor de DVD-uri deoarece stratul de aur nu este la fel de reflectorizant ca argintul care se degradează ușor. Ce este mai bun? DVD-ul Taiyo-Yuden / JVC Thermal-Lacquer, care are cea mai mare compatibilitate evaluată și despre care se spune că rezistă aproximativ 80 de ani.

Apoi există MDISC, compania care pretinde că are o durată de stocare de 1.000 de ani pentru discurile DVD și Blu-Ray și este lizibilă peste tot. Folosește un inscriptor special modificat ca acesta, iar platanele costă aproximativ 3 dolari fiecare pentru DVD și 5 dolari pentru Blu-Ray. Nu e rău.

Cine începe să se bâlbâie pe tema „Da, dar vor mai exista cititori peste 1.000 de ani?” pune întrebarea greșită. După ce am citit relatări recente despre nivelurile de efort necesare pentru a recupera arta digitală a lui Andy Warhol de pe vechile sale dischete Amiga sau despre întreprinderea masivă de a reînvia imaginea originală Earthrise de pe vechile casete NASA, ne dăm seama rapid că nu trebuie să așteptăm 1.000 de ani (sau chiar 50 de ani) pentru ca lucrurile să devină ilizibile. S-ar putea chiar să investesc în acest lucru, deoarece îmi fac iluzia că lucrurile mele merită păstrate. De asemenea, tatăl meu este, de asemenea, foarte preocupat de longevitatea filmelor de familie. (El nu știe că formatul original al filmului va dura mult, mult mai mult decât copia VHS sau încarnarea ulterioară a DVD-ului. Oh, ce ironie!)

.