Bittimädän estäminen

Minä olen huolissani datan hajoamisesta. Paljonkin. Minulla on kiintolevylläni jo muutama sata vioittunutta .jpgs-tiedostoa, joita tavalliset tiedostojärjestelmän tarkistusohjelmat, kuten CHKDSK (käytetään Microsoft Windowsissa), eivät ole pystyneet löytämään tai korjaamaan.

Ongelmalla on kaksi pääsyytä: Tämä on sellainen ongelma, jonka löytämisessä ja korjaamisessa CHKDSK ja taustalla oleva tiedostojärjestelmä yleensä loistavat), ja 2) virhealtis massakopiointi, kun tietoja siirretään kiintolevyltä toiselle tai kamerasta tietokoneeseen. Yleensä tällaisessa kopioinnissa ei käytetä mitään tarkistuksia.

Virheentunnistus- ja korjauskoodit (kuten sellaiset, joita käytetään bittitasolla joka kerta, kun kiintolevysi kirjoittaa jotain levylle) ovat loistavia yhden bitin virheistä toipumisessa, mutta niitä ei ole suunniteltu käsittelemään kahden bitin virheitä (jotka ovat tilastollisesti paljon epätodennäköisempiä), minkä vuoksi on hyvin todennäköistä, ettet ole koskaan kokenut ongelmaa itse.

Levyjen peilaaminen (ja RAID-konfiguraatiot yleensä) eivät auta sinua tässä, sillä jos tiedostossa on virhe, se yksinkertaisesti kopioidaan toiselle levylle.

Mitä tehdä? No, automaattista set-it-and-forget-it-ratkaisua ei juuri nyt ole (haistan liiketoimintamahdollisuuden!), mutta vakavasti otettavalle arkistoijalle on kuitenkin olemassa joitakin työkaluja:

1) On olemassa tiedostojen eheyden tarkistustyökaluja. Ne toimivat siten, että annat ohjelman skannata terveen hakemiston ja se luo niin sanotun ”hashin” (jota voit ajatella monimutkaisena tarkistussummana). Voit sitten ajaa saman skannausohjelman tulevaisuudessa, jolloin se laskee hashit uudelleen ja vertaa niitä vanhoihin ja kertoo, onko jokin alkuperäisistä tiedostoistasi muuttunut. Työkalu ei tarkastele vain dataa ja aikaa, vaan tiedostossa olevien ykkösten ja nollien kokonaisuutta. Yksi suosittu työkalu on nimeltään ExactFile. Näiden ohjelmien huono puoli on se, että kun ongelma on löydetty, mitä sitten tehdään? Ei ole selvää, mitä voit tehdä virheen korjaamiseksi. Toinen haittapuoli on se, että joka kerta, kun tarkoituksellisesti käytät/muutat kyseistä tiedostoa, sinun on luotava hash uudelleen. (KOLMAS haittapuoli on se, että sinulla on oltava kaukonäköisyyttä generoida hashit ennen kuin datan mätäneminen alkaa.)

2) Voit ladata ilmaisia työkaluja, jotka etsivät kaikista hakemistoista tietyntyyppisiä tiedostoja (kuten kuvatiedostoja) ja tarkistavat, ovatko ne vioittuneet. (Jotkut toimivat myös elokuvatiedostoille ja muille erikoistiedostoille. Mutta en ole nähnyt MITÄÄN työkalua, joka voisi toimia useille eri tiedostotyypeille, esimerkiksi Microsoft Office -tiedostoille). Tässä on yksi, jota itse käytin paljastaakseni satoja korruptoituneita .jpgs-tiedostoja kiintolevyltäni, ja siitä on versio sekä Macille että PC:lle:

Okei, kun olet löytänyt korruptoituneita kuvatiedostoja, miten ne voi korjata? Kokemukseni mukaan .JPG-korjausohjelmat ovat suunnilleen yhtä tehokkaita ja ennustettavia kuin ne ohjelmat, jotka yrittävät palauttaa kuvia vioittuneilta muistikorteilta – se on ihan paska homma. Olen viettänyt muutaman päivän käymällä läpi lukemattomia verkkosivustojen arvosteluja .jpg-korjausohjelmista, ja olin joko vaikuttunut onnistumisprosentista tai artikkelin kirjoittajan testausmenetelmästä. Joten en voi oikeastaan suositella mitään, koska minulla ei ole ollut paljon menestystä niiden muutaman kanssa, joita olen kokeillut. (Ja jos jokin toimi minulle, se ei välttämättä toimi sinulle.)

Mutta tutkimuksessani pystyin paljastamaan omituisen verkkosivuston, joka tarjoaa .jpg-selvityspalvelua, ja jos heidän automaattinen työkalunsa ei voi tehdä sitä sinulle, he sanovat, että heillä on kokenut henkilökunta, joka menee sisään ja korjaa .JPG:n käsin analysoimalla rakenteen ja tekemällä tavutason muokkauksen. (Mikään ei voita vanhanaikaista tapaa!) Jos todella tiedät, mitä olet tekemässä, tämä menetelmä lupaa korkeimman mahdollisen palautusasteen. Tässä on heidän verkkosivunsa ja heidän toinen verkkosivunsa.

Ennaltaehkäisy

On kaksi asiaa, jotka sinun pitäisi tehdä NYT suojellaksesi itseäsi tulevalta datan mädäntymiseltä:

1) Muista, että KESKIMÄÄRÄLLISESTI jopa kestävin tallennusmedia kuluu luultavasti loppuun viiden vuoden kuluttua. Säännöllisten, päivittäisten varmuuskopioiden lisäksi (ja pitämällä pyörivää kolmatta sarjaa muualla tulipalon tai varkauden varalta) suosittelen voimakkaasti tietojen replikoinnin / päivityksen toteuttamista noin 3 vuoden välein. Tämä tarkoittaa lähinnä koko tietokokonaisuuden kopioimista uudelle kiintolevylle aina silloin tällöin. Vaikka tämä auttaa suojaamaan sinua tiettyjen bittien magneettiselta menetykseltä, jos sinulla on jo korruptoituneita .jpgs-tiedostoja huolimattoman kopioinnin vuoksi, myös nämä korruptoituneet tiedostot kopioidaan.

2) Lopeta tiedostojen kopiointi tietokoneen tiedostonhallintaohjelmalla (Finder tai Windows Explorer) ja aloita tiedostojen kopiointi- JA VERIFIOINTIOHJELMAN, kuten Teracopyn (Windows) tai Ultracopierin, käyttäminen OSX:ssä, Linuxissa ja Windowsissa. Nämä ohjelmat kestävät kaksi kertaa kauemmin, mutta ne olisivat poistaneet vioittuneiden .jpgs-tiedostojeni pääasiallisen lähteen, jos olisin käyttänyt niitä ensimmäisestä päivästä lähtien.

3) Edistyneet käyttäjät: Teollisuuden vahvuiset tiedostojärjestelmät, kuten ZFS (Unix/Linux), MacZFS tai Microsoftin tuleva ReFS (Windows Server 2012, Windows 8.1) lupaavat olla kestävämpiä ja ennakoivampia tällaisten tietojen mätänemisongelmien ratkaisemisessa. Ne ovat tulevaisuuden tiedostojärjestelmiä (ainakin siihen asti, kunnes datakokonaisuutemme kasvavat ja vanhenevat. 🙂 ).

Sivumennen sanoen edellä satunnaisesti mainitut työkalut eivät suinkaan ole tyhjentäviä. Jos sinulla on työkalu tai menetelmä, joka ratkaisee tämän ongelman, kirjoita se kommenttiosioon. Kaikkien pitäisi oppia kokemuksistasi.

=== OSA 2 ===

Poika, sain paljon sähköpostia viime kuun blogista! Useimmilla ihmisillä ei ollut aavistustakaan siitä, että vaikka he tekivät säännöllisesti varmuuskopioita ja tarkistivat tiedostojärjestelmänsä säännöllisesti, heidän arvokkaat tiedostonsa olivat SITTEN alttiita turmeltumiselle.

Olen siis oppinut, että joka kerta, kun törmään tällaiseen hermoon, on järkevää kaivautua syvemmälle. Yksi parhaista ehdotuksista, joita blogin kommenteista tuli, oli ajatuksen vahvistaminen siitä, että kannattaa käyttää kehittyneempää tiedostojärjestelmää, kuten ZFS:ää (Unix) tai ReFS:ää (Microsoft Windows 8.1, pakottava syy päivittää juuri siihen!), joka on suunniteltu torjumaan juuri tätä ongelmaa. Yksi kustannustehokkaimmista ja helpoimmista tavoista teknisesti suuntautuneelle henkilölle tehdä tämä on ladata ja asentaa FreeNAS johonkin vanhaan tietokonelaitteistoon ja käyttää sitä palvelimena. Se on ilmaista (laitteistoa lukuun ottamatta), ja tietosi saavat ansaitsemansa lisäsuojan ilman, että sinun tarvitsee vaihtaa tietokonetta tai käyttöjärjestelmää.

Arkistointitallennusvaihtoehdot

Puhutaanpa hieman lisää arkistointitallennuksesta. CD- ja DVD-levyt EIVÄT ole oikea tapa, sillä niiden tietojen keskimääräinen käyttöikä on 3-5 vuotta. Siksi 80-luvun CD-levysi eivät luultavasti enää soi kovin hyvin. Tällainen tallentamisen epämääräisyys huolestuttaa suuresti kongressin kirjastoa, joka tutkii parhaillaan asiaa – itse asiassa he pyytävät aktiivisesti lahjoituksina CD- ja DVD-levyjä, jotka eivät enää soi, ruumiinavauksia varten. Tässä ytimekäs ongelman selvitys Atlantic-lehdestä.

Aikanaan paras vaihtoehto oli erityinen CD (nykyään myös DVD), jonka heijastava kerros oli tehty kullasta. Alunperin Kodakin valmistamat ja nykyään muun muassa Verbatimin tarjoamat CD-levyt väittävät, että ne kestävät 100 vuotta, mutta tässä artikkelissa sanotaan, että ne eivät välttämättä ole luettavissa kaikissa DVD-lukulaitteissa, koska kultakerros ei ole yhtä heijastava kuin helposti hajoava hopea. Mikä on parempi? Taiyo-Yuden / JVC Thermal-Lacquer DVD, jolla on korkein yhteensopivuusluokitus ja jonka sanotaan kestävän noin 80 vuotta.

Sitten on MDISC, yritys, joka väittää DVD- ja Blu-Ray-levyjen säilyvyydeksi 1000 vuotta ja joka on luettavissa kaikkialla. Se käyttää erityisesti muokattua kirjoitinta kuten tämä, ja levyt maksavat noin 3 dollaria kappale DVD:ltä ja 5 dollaria kappale Blu-Rayltä. Ei hassumpaa.

Kuka tahansa, joka alkaa höpöttää: ”Kyllä, mutta onko lukulaitteita vielä 1000 vuoden päästä?”, kysyy väärän kysymyksen. Kun on lukenut viimeaikaisia kertomuksia siitä, kuinka paljon vaivaa on vaadittu Andy Warholin digitaalisen taiteen palauttamiseksi hänen vanhoilta Amiga-levykkeiltään tai massiivisesta yrityksestä elvyttää alkuperäinen Earthrise-kuva vanhoilta NASA:n nauhoilta, tajuaa nopeasti, että ei tarvitse odottaa tuhatta vuotta (tai edes 50 vuotta), ennen kuin asiat muuttuvat lukukelvottomiksi. Saatan itse asiassa investoida tähän, koska minulla on illuusio siitä, että tavarani ovat säilyttämisen arvoisia. Myös isäni on hyvin huolissaan perhe-elokuvien pitkäikäisyydestä. (Hän ei tiedä, että alkuperäinen elokuvaformaatti kestää paljon, paljon kauemmin kuin VHS-kopio tai myöhempi DVD-versio. Voi sitä ironiaa!)