重複排除【deduplication】デデュープ/デデュプリケーション

概要

削除した箇所には代わりに元のデータが記録された箇所への参照情報（アドレスなど）を書き込み、その箇所に記録されたデータが必要になったときは参照先から読み込むようにする。

一般的にコンピュータに保管されるデータは同じ内容がいくつも複製されていたり、異なる内容でも部分的に重複している場合がかなり存在するため、重複排除を行なうことで必要な記憶容量を大幅に削減することができる。企業の業務用データなどでは数分の一から数十分の一まで削減できた事例もある。

重複箇所の検出や削除はファイル単位で行う方式と、数KB（キロバイト）程度の固定長のブロック単位で行う方式、可変長のブロック（固定長と区別するためにチャンク、セグメントなどと呼ぶこともある）単位で行う方式がある。後者ほど節約効果が高いが、処理が複雑で時間がかかるようになる。