Prevenir a podridão do bit

>

>

>

Códigos de Detecção e Correcção de Erros (como os que são empregados no nível de bits sempre que o seu disco rígido escreve algo no disco) são ótimos em recuperar de um erro de um bit, mas não são projetados para lidar com dois erros de bit (que são estatisticamente muito menos prováveis) e é por isso que há uma boa chance de você nunca ter experimentado o problema por conta própria.

O espelhamento do disco (e configurações RAID em geral) não o ajudará aqui, pois se houver um erro no arquivo ele será simplesmente copiado para o segundo disco.

O que fazer? Bem, não há nenhuma solução automática de configuração-e-esquecimento neste momento (cheira-me a oportunidade de negócio!), no entanto há algumas ferramentas disponíveis para o arquivista sério:

1) Há ferramentas de verificação de integridade de arquivos lá fora. A maneira como elas funcionam é você ter o programa escanear um diretório saudável e ele irá gerar o que é conhecido como “hash” (que você pode pensar como um checksum complexo). Você pode então executar o mesmo programa de verificação no futuro e ele irá recalcular os hashes e compará-los com os antigos, dizendo-lhe se algum dos seus arquivos originais mudou. A ferramenta não olha apenas para dados e tempo, mas a totalidade de 1’s e 0’s no arquivo. Uma ferramenta popular é chamada ExactFile. A desvantagem destes programas é que uma vez encontrado um problema, o que você faz então? Não está claro o que você pode fazer para se recuperar do erro. A outra desvantagem é que cada vez que você intencionalmente acessar / modificar esse arquivo, você tem que gerar novamente o hash. (A TERCEIRA desvantagem é que você tem que ter a previsão para gerar os hashes antes que os dados apodreçam.)

2) Existem ferramentas grátis que você pode baixar que pesquisam todos os diretórios por tipos de arquivos específicos (como arquivos de imagem) e verificar se eles estão corrompidos. (Alguns também trabalham em arquivos de filmes, e outros arquivos de propósito especial. Mas eu ainda não vi QUALQUER ferramenta que possa funcionar em vários tipos de arquivos, incluindo arquivos do Microsoft Office, por exemplo). Aqui está uma que usei pessoalmente para descobrir centenas de .jpgs corrompidos no meu disco rígido, e há uma versão para Macs e PCs:

Okay, então uma vez que você encontrou alguns arquivos de imagem corrompidos, como eles podem ser corrigidos? Na minha experiência, os programas de reparação .JPG são tão eficazes e previsíveis como os programas que tentam recuperar imagens de cartões de memória corrompidos – é uma porcaria. Passei alguns dias revisando inúmeras revisões de sites de programas de reparo do .jpg e não fiquei impressionado com a taxa de sucesso ou não fiquei impressionado com o método de teste do autor do artigo. Então eu não posso recomendar nada porque não tive muito sucesso com os poucos que tentei. (E se algo funcionasse para mim então não funcionaria necessariamente para você.)

No entanto, em minha pesquisa consegui descobrir um site peculiar que oferece um serviço de recuperação .jpg, e se a ferramenta automática deles não pode fazer isso para você então eles dizem que têm uma equipe experiente que vai entrar e FIXAR O .JPG POR MÃO analisando a estrutura e fazendo uma edição em nível de byte. (Nada bate à moda antiga!) Se você realmente sabe o que está fazendo, este método tem a promessa da maior taxa de recuperação possível. Aqui está seu website e seu outro website.

Prevenção

>

Existem duas coisas que você deve estar fazendo AGORA para se proteger da podridão de dados futuros:

1) Lembre-se que EM MÉDIA mesmo o meio de armazenamento mais durável provavelmente irá se desgastar após 5 anos. Além de backups diários regulares (e manter um 3o. set off-site rotativo para proteger contra incêndio ou roubo), eu recomendo fortemente a implementação de uma Replicação / Atualização de dados a cada 3 anos ou mais. Isto significa essencialmente copiar todo o seu conjunto de dados para um disco rígido novo de vez em quando. Enquanto isso ajudará a protegê-lo contra perda magnética de certos bits, se você já tiver corrompido .jpgs devido à cópia desleixada, então esses arquivos corrompidos serão copiados também.

2) Pare de copiar arquivos usando o gerenciador de arquivos do seu computador (Finder ou Windows Explorer) e comece a usar uma cópia de arquivo E VERIFICAR programa como Teracopy (Windows) ou Ultracopier (para OSX, Linux e Windows). Estes programas levam o dobro do tempo mas teriam eliminado a fonte primária do meu .jpgs corrompido se eu estivesse usando-os desde o Dia 1.

3) Usuários avançados: A força industrial Sistemas de Arquivos como ZFS (Unix / Linux), MacZFS, ou o novo ReFS da Microsoft (Windows Server 2012, Windows 8.1) tem a promessa de ser mais resiliente e pró-ativo na abordagem desses tipos de problemas de apodrecimento de dados. Eles são o sistema de arquivos do futuro (até que nossos conjuntos de dados fiquem maiores e mais velhos, ou seja. 🙂 ).

Por falar nisso, as ferramentas casualmente mencionadas acima não são de forma alguma exaustivas. Se você tiver uma ferramenta ou método que resolva este problema, por favor coloque-a na seção de comentários. Todos devem aprender com a sua experiência.

==== PARTE 2 =====

Caramba, recebi muitos e-mails do blog do mês passado! A maioria das pessoas não tinha idéia de que mesmo fazendo backups regulares e fazendo uma verificação regular do sistema de arquivos, seus arquivos valiosos eram STILL vulneráveis à corrupção.

Então eu aprendi que cada vez que eu atinjo um nervo como este, faz sentido aprofundar. Uma das melhores sugestões para sair dos comentários do blog foi o reforço da idéia de usar um sistema de arquivos mais avançado como o ZFS (Unix) ou ReFS (Microsoft Windows 8.1, uma razão convincente para atualizar ali mesmo!) que foi projetado para combater esse mesmo problema. Uma das formas mais econômicas e fáceis para uma pessoa tecnicamente inclinada fazer isso é baixar e instalar o FreeNAS em algum hardware antigo do computador e ter isso atuando como seu servidor. É gratuito (exceto para o hardware), e seus dados recebem o nível extra de proteção que merece sem que você tenha que trocar de computador ou sistema operacional.

Opções de armazenamento de arquivos

Vamos falar um pouco mais sobre armazenamento de arquivos. CDs e DVDs NÃO são o caminho a seguir, pois eles têm uma vida útil média de dados de 3-5 anos. É por isso que os seus CD’s dos anos 80 provavelmente já não tocam muito bem. Este tipo de impermanência de armazenamento diz muito respeito à Biblioteca do Congresso, que está atualmente pesquisando o assunto – na verdade, eles estão procurando ativamente suas doações de CDs e DVDs que não tocam mais para autópsias. Aqui está uma declaração sucinta do problema da revista Atlantic.

Após uma época em que a melhor opção que havia era um CD especial (agora, DVD também) cuja camada refletiva era feita de Ouro. Inicialmente feito pela Kodak e agora oferecido pela Verbatim (entre outras), eles reivindicam 100 anos de permanência, mas este artigo diz que eles podem não ser legíveis em todos os leitores de DVD porque a camada de ouro não é tão reflexiva quanto a prata de fácil decomposição. O que há de melhor? O DVD Taiyo-Yuden / JVC Thermal-Lacquer, que tem a maior compatibilidade e que se diz durar cerca de 80 anos.

Então há o MDISC, a empresa que afirma ter 1.000 anos de duração de armazenamento para discos de DVD e Blu-Ray e é legível em qualquer lugar. Ele usa um gravador especialmente modificado como este, e os pratos custam cerca de $3 cada para DVD e $5 cada para Blu-Ray. Nada mal.

Uma pessoa que começa a falar sobre “Sim, mas haverá leitores daqui a cerca de 1000 anos?” está a fazer a pergunta errada. Depois de ler relatos recentes sobre os níveis de esforço necessários para recuperar a arte digital de Andy Warhol das suas velhas disquetes Amiga, ou o empreendimento maciço para ressuscitar a imagem original do Earthrise das antigas cassetes da NASA, apercebemo-nos rapidamente que não é preciso esperar 1.000 anos (ou mesmo 50 anos) para que as coisas se tornem ilegíveis. Eu posso realmente investir nisto porque estou sob a ilusão de que vale a pena manter as minhas coisas. Além disso, o meu pai também está muito preocupado com a longevidade dos filmes de família. (Ele pouco sabe que o formato original do filme vai durar muito, muito mais do que a cópia em VHS ou a encarnação subsequente em DVD). Oh, a ironia!)