重复数据删除技术可以说是在备份技术的最大进步在过去的二十年。它是用于使从磁带到光盘的移位为批量备份数据的一手负责，它的普及仅日趋增加。了解不同类型的重复数据删除，也被称为重复数据删除的，为任何望着备份技术的人很重要。
什么是数据重复删除?
重复数据删除是一个数据集内查明和消除重复的块。它类似于压缩，这仅识别在单个文件中的冗余块。重复数据删除技术可以在不同的目录，不同的数据类型，在不同的地点，甚至不同的服务器上查找文件之间数据的冗余块。
例如，重复数据删除系统可能能够识别电子表格中的专有块，并将其备份。如果更新并重新进行备份，它应该能够确定已经改变，只备份它们的段。然后，如果你通过电子邮件发送给同事，应该能够识别你发送的邮件文件夹，其收件箱，甚至他们的笔记本电脑的硬盘驱动器上的相同的块，如果他们将其保存在本地。它不会需要备份相同的网段，这些额外的副本;它只会识别自己的位置。
重复数据删除是如何工作的?
即重复数据删除方法的常见工作方式就是重复数据删除是斩大多数呼叫数据块。块是数据的一个或多个连续块。在哪里以及如何大块被划分为许多专利的主题，但我只想说，每个产品建立一系列的会，然后对通过给定的重复数据删除系统中看到所有旧数据块进行比较块。
该比较的工作方式是，每个块通过确定性密码散列算法运行，诸如SHA-1，SHA-2，或SHA-256，这产生所谓的哈希。例如，如果一个进入“敏捷的棕色狐狸跳过懒狗”变成了SHA-1散列运算单元，您会收到以下哈希值：
2 fd4e1c67a2d28fced849ee1bb76e7391b93eb12。(你可以在这里尝试:https://passwordsgenerator.net/sha1-hash-generator/。)
如果两个块的散列匹配，它们被认为是相同的，因为即使是最小的变化导致大块变化的哈希值。甲SHA-1散列是160位。如果你创建了一个8 MB块的160位散列，为您节省每您备份同一块时间几乎8 MB。这就是为什么重复数据删除是这样的节省空间。
目标重复数据删除
Target dedupe是目前市场上最常见的一种dedupe。其思想是，您购买一个目标dedupe磁盘设备，并将备份发送到它的网络共享或虚拟磁带驱动器(如果产品是虚拟磁带库(VTL))。分块和比较步骤都是在目标上完成的;这些都不是在源上完成的。这允许您在不更改备份软件的情况下获得dedupe的好处。
这种渐进的办法使许多企业交换机从磁带到磁盘作为主要备份目标。大多数客户复制磁带备份，异地目的。一些先进的客户提供更大的预算用于这些目标的重复数据删除设备的复制能力，复制他们的备份异地。一个良好的重复数据删除系统将减少99％的典型文件的大小和增量备份的90％的大小，使所有可能的备份复制。（在合理范围内，当然，不是每个人都有足够的带宽来处理这个级别的复制。）
源重复数据删除
源dedupe发生在备份客户机上—在源上—因此得名源， 要么客户端重复数据删除。分块处理发生在客户端上，然后它通过哈希值的查找过程备份服务器。如果备份服务器说给定块是唯一的，该块将被转移到备份服务器，并写入磁盘。如果备份服务器说给定块以前已经见过，它甚至没有需要转移。这样可以节省带宽和存储空间。
对source dedupe的一个批评是，创建散列的过程是一个资源密集型的操作，需要大量的CPU资源。虽然这是真的，但它通常会被传输备份所需的CPU数量的显著减少所抵消，因为在任何给定的备份上，超过90%的所有块都是重复的。
节省的带宽还允许源dedupe在目标dedupe不能运行的地方运行。例如，它允许公司备份他们的笔记本电脑或移动设备，所有这些都使用互联网作为他们的带宽。用目标dedupe系统备份这些设备将需要每个设备本地的设备进行备份。这就是为什么source dedupe是远程备份的首选方法。
有没有重复数据删除源尽可能多的设备在外地有目标的重复数据删除，有几个原因。原因之一是，重复数据删除的目标产品已经出来了，稳定的比大多数重复数据删除源产品更长。但是，也许最大的原因就是目标的重复数据删除可以增量（即使用相同的备份软件，只是改变目标），其中源重复数据删除技术通常需要大规模更换你的备份系统来实现。最后，并非所有的源重复数据删除功能的实现是相等的创建，以及一些有一点前进的道路上颠簸的道路。
重复数据删除既有优点也有缺点
target dedupe的主要优点是，您可以将它与几乎任何备份软件一起使用，只要它是设备支持的软件。不利的一面是，无论您要备份到哪里，都需要一个设备，即使它只是一个虚拟设备。源德川普的主要优势是相反的;你可以从任何地方备份。这种灵活性可能会导致备份满足您的需求，但是恢复速度不能满足您的需求，所以一定要考虑到这一点。