Preventing Bit Rot

私はデータの腐敗を心配しています。 とても心配です。 すでに私のハード ドライブには、CHKDSK (Microsoft Windows で使用) のような標準のファイル システム チェック プログラムでは見つけることも修正することもできない、数百枚の破損した .jpg ファイルがあります。 1) 磁気的な向きや強度を失った物理メディア (これは、CHKDSK および基礎となるファイル システムが通常、発見および修正に優れている種類の問題です)、および 2) データをハード ドライブから別のハード ドライブ、またはカメラからコンピューターに転送する際にエラーが起こりやすい大量コピーです。 通常、このようなコピーには検証チェックがありません。

Error Detection and Correction コード (ハード ドライブがディスクに何かを書き込むたびにビット レベルで使用されるようなもの) は、1 つのビット エラーからの回復には優れていますが、2 つのビット エラー (統計的にはるかに低い確率) を扱うようには設計されていませんので、この問題を経験したことがない可能性は十分にあります。

ディスク ミラーリング (および一般的な RAID 構成) は、ファイルにエラーがある場合、単に 2 番目のディスクにコピーされるだけなので、このような場合、役に立ちません。 しかし、本格的なアーキビストに利用可能なツールがいくつかあります。

1) 世の中には、ファイルの整合性を検証するツールがあります。 その仕組みは、プログラムに健全なディレクトリをスキャンさせ、「ハッシュ」（複雑なチェックサムと考えることができます）と呼ばれるものを生成させるものです。 その後、同じスキャンプログラムを実行すると、ハッシュを再計算して古いものと比較し、元のファイルが変更されているかどうかを教えてくれます。 このツールは、データと時間だけでなく、ファイル内の1と0の全体を見る。 人気のあるツールにExactFileというものがあります。 これらのプログラムの欠点は、問題が見つかったら、その後どうすればいいのか、ということです。 エラーから回復するために何ができるかが明確でないのです。 もう一つの欠点は、そのファイルに意図的にアクセス／変更するたびに、ハッシュを生成し直さなければならないことです。 (第 3 の欠点は、データの腐敗が始まる前にハッシュを生成する先見の明が必要なことです。)

2) 特定のファイル タイプ (画像ファイルなど) についてすべてのディレクトリを検索し、破損しているかどうかをチェックする無料のツールがダウンロードできます。 (ムービーファイルやその他の特殊なファイルにも対応するものもあります。 しかし、例えばMicrosoft Officeファイルを含む多くのファイルタイプに対応するツールは見たことがありません）。 これは、私が個人的にハードドライブ上の何百もの破損した .jpg を発見するために使用したもので、PC 用だけでなく Mac 用もあります。 私の経験では、.JPG 修復プログラムは、破損したメモリ カードから画像を復元しようとするプログラムと同じくらい効果的で予測可能なものです。 私は.jpgの修復プログラムの無数のウェブサイトのレビューを通過するのに数日を費やしてきました、私は成功率に感銘を受けなかったか、記事の著者のテスト方法に感銘を受けませんでした。 だから、私が試したいくつかのものであまり成功しなかったので、実際に何かを推薦することはできません。 (そして、もしあるものが私にとってうまくいったとしても、あなたにとって必ずしもうまくいかないでしょう。)

しかし、私の研究の中で、.jpg リカバリ サービスを提供する風変わりなウェブサイトを発見することが出来ました。 (昔ながらの方法に勝るものはない！）あなたが本当に何をしているかを知っている場合、この方法は、可能な限り高い回復率の約束を保持しています。 以下は、同社の Web サイトとその他の Web サイトです。

予防

将来のデータ破損から身を守るために今すべきことは 2 つあります：

1) 平均すると、最も耐久性のあるストレージ媒体でさえ 5 年でおそらく消耗してしまうことを覚えておくことです。 定期的な毎日のバックアップ (および火災や盗難に備えるため、オフサイトにローテーションで3番目のセットを保管) に加えて、3年ごとにデータのレプリケーション/リフレッシュを実施することを強くお勧めします。 これは、基本的にデータセットをすべて新しいハードディスクにコピーすることを意味します。 これは、特定のビットの磁気的損失から保護するのに役立ちますが、ずさんなコピーによって破損した .jpg がある場合、それらの破損したファイルもコピーされます。

2) コンピュータのファイル マネージャー (Finder または Windows Explorer) によるファイルのコピーを止め、Teracopy (Windows) または Ultracopier (OSX, Linux および Windows) などのファイル コピーおよび検証プログラムを使い始める。 これらのプログラムは 2 倍の時間がかかりますが、初日から使用していれば、破損した .jpg の主な原因を排除できたでしょう。

3) 上級ユーザー。 ZFS (Unix / Linux)、MacZFS、または Microsoft の新進気鋭の ReFS (Windows Server 2012、Windows 8.1) などの強力なファイル システムでは、この種のデータ破損問題に対してより回復力が高く、積極的に対処することが期待されます。 これらは、未来のファイル システムです (データ セットがより大きく、より古くなるまで、ですが。 🙂

ところで、何気なく挙げたツールは、決してすべてを網羅しているわけではありません。 この問題に対処するツールや方法をお持ちの方は、コメント欄に投稿してください。

=== PART 2 ===

Boy, did I get a lot of email from last month’s blog! ほとんどの人は、定期的にバックアップを取り、定期的にファイル システムをチェックしているにもかかわらず、貴重なファイルが破損する危険性があることを知りませんでした。 ブログのコメントから得られた最も良い提案の 1 つは、まさにこの問題に対処するために設計された ZFS (Unix) や ReFS (Microsoft Windows 8.1) のようなより高度なファイル システムを使用するという考えを補強するものでした。 技術に明るい人がこれを行うための最も費用対効果の高い簡単な方法の一つは、FreeNASをダウンロードして古いコンピュータのハードウェアにインストールし、それをサーバとして機能させることです。 (ハードウェアを除いて) 無料ですし、コンピュータやオペレーティング システムを切り替えることなく、データはそれに見合うだけの保護を得ることができます。 CD や DVD は、平均して 3 ～ 5 年のデータ寿命なので、使用するべきではありません。 80年代のCDがもうあまりうまく再生できないのはそのためです。 実際、米国議会図書館は、この問題を研究しており、再生できないCDやDVDの寄贈を積極的に求めています。 Atlantic 誌に掲載された簡潔な問題提起です。

昔々、最高の選択肢は、反射層が金でできている特別な CD (現在は DVD も) だったのです。 当初は Kodak 社によって作られ、現在は Verbatim 社 (その他) によって提供されており、100 年の耐久性を主張しています。 何が良いのか？ 太陽誘電 / JVC Thermal-Lacquer DVD は互換性が最も高く、約 80 年持つと言われています。

それから MDISC という会社があり、DVD と Blu-Ray ディスクの 1000 年の保存寿命を主張し、どこでも読み取れるそうです。 このような特殊な改造を施したライターを使用し、プラッターはDVDが1枚3ドル、Blu-Rayが1枚5ドル程度です。 悪くない。

「そうだが、1000年後に読者がいるかどうか」について垂れ流しを始める人は、間違った質問をしていることになる。 最近、Andy Warhol のデジタル アートを古い Amiga フロッピー ディスクから復元するのに必要なレベルの努力や、NASA の古いテープからオリジナルの地球の出の画像を復活させるという大仕事を読んだ後、読めなくなるのに1000年（あるいは50年）待つ必要はないことにすぐに気がつきました。 私は、自分のものが保存する価値があると錯覚しているので、実際にこれに投資するかもしれません。 また、私の父も家族映画の寿命を非常に気にしています。 (オリジナルのフィルムフォーマットが、VHSコピーやその後のDVD化よりもずっとずっと長持ちすることを、彼はほとんど知らないのです。 ああ、皮肉なことだ！）

。