由于经济仍然不稳定，存储需求激增，几乎每个存储供应商都声称它可以减少必须存储的数据量。减少你的数据足迹不仅可以降低硬件、软件、电源和数据中心空间的成本，还可以减轻网络和备份窗口的压力。雷竞技电脑网站
但是你怎么知道该使用哪种技术呢?首先，您必须了解您的业务如何使用数据，并确定数据减少所节省的成本何时值得导致性能下降。
最适合您的技术与其说取决于您所在的行业，不如说是取决于您存储的数据类型。例如，重复数据删除技术通常不会为x射线、工程测试数据、视频或音乐带来显著的节省。但它可以显著降低备份用作服务器的虚拟机的成本。这里有五种技术可以帮助您减少存储数据量。
1.重复数据删除
重复数据删除——查找和消除存储在不同数据集中的重复数据块的过程——可以减少高达90%的存储需求。例如，通过重复数据删除，您可以确保只存储发送给数百名员工的附件的一个副本。重复数据删除几乎已经成为备份、归档和几乎任何形式的辅助存储的必要条件，在这些条件下，访问速度没有减少数据占用那么重要。
医疗广告和营销公司Grey Healthcare Group的IT主管克里斯•沃特金斯(Chris Watkis)发现，由于采用了FalconStor Software Inc.的虚拟磁带库存储设备进行重复数据删除，备份数据的比例最高可达72:1。云存储服务提供商i365的首席技术官戴维•艾伦(David Allen)表示，在微软Exchange、SharePoint、SQL Server和VMware虚拟机文件的混合工作负载下，i365实现了30:1至50:1的数据减少。
数据可以在文件级或块级进行处理，不同的产品可以检查不同大小的块。在大多数情况下，系统能够进行的粒度越细的评估，节省的空间就越大。但是，细粒度的重复数据删除可能需要更长的时间，因此会降低数据访问速度。
重复数据删除可以进行预处理，或内联，因为数据被写入其目标;或后处理，在数据被存储在其目标上之后。服务器和StorageIO Group的高级分析师格雷格•舒尔茨(Greg Schulz)表示，如果用快速数据移动来满足备份窗口的要求非常关键，那么后期处理是最好的。但他表示，如果你有“烧钱的时间”，需要降低成本，可以考虑预处理。
批评人士说，虽然嵌入式重复数据删除技术可以将存储的数据量减少约20:1，但它是不可扩展的，而且会影响性能，迫使用户购买更多的服务器来执行重复数据删除。另一方面，Schulz说，后处理重复数据删除需要更多的存储作为缓冲，使得这些空间不能用于其他用途。
对于拥有多个服务器或存储平台的客户，企业范围的重复数据删除可以通过消除存储在不同平台上的重复数据来节省资金。这是至关重要的,因为大多数组织创建多达15份相同的数据使用的应用,如数据挖掘、ERP和客户关系管理系统,战略的副总裁Randy Chalfant说基于磁盘的存储供应商Nexsan corp .)用户可能还需要考虑一个重复数据删除系统对于任何应用程序或用户更容易“跑”数据(如有需要返回到其原始形式),避免多个系统之间的不兼容性。
Schulz说，主要的重复数据删除产品可以在预处理模式下执行，直到达到一定的性能阈值，然后切换到后处理模式。
另一个选项是基于策略的重复数据删除，它允许存储管理人员根据文件的大小、重要性或其他标准来选择哪些文件应该进行重复数据删除。
SFL数据公司为涉及诉讼的公司和律师事务所收集、存储、索引、搜索和提供数据，它在业绩和数据减少之间找到了平衡。它部署了Ocarina Networks的2400存储优化器，用于在BlueArc Mercury 50集群上“近在线”存储压缩和重复删除的文件，该集群可扩展到2 pb的可用容量，并根据用户的需要对这些文件进行重新补水。
SFL的技术总监露丝·汤森德(Ruth Townsend)说，“重新补水文件会稍微减慢访问时间，但这比告诉客户必须等上两天”才能访问这些文件要好得多。她指出，公司通过重复数据删除和文件压缩节省了多达50%的空间。
2.压缩
压缩可能是最著名的数据约简技术，它是查找和消除字节重复模式的过程。它可以很好地处理数据库、电子邮件和文件，但是对于图像来说就不那么有效了。它包含在一些存储系统中，但是您也可以找到独立的压缩应用程序或设备。
Dedupe和Compression:一起更好?
一些供应商提供或将提供重复数据删除和压缩。其他的，比如Ocarina，在对已经压缩的文件进行优化之前先对其进行解码。Nexsan负责战略的副总裁兰迪•查芬特(Randy Chalfant)认为，数据应该在文件或操作系统级别进行压缩，并在存储目标上进行重复数据删除。基于云的重复数据删除和压缩服务提供商Asigra Inc.首先对数据进行压缩，然后进行重复数据删除，只存储对数据所做的更改。
的选择是否、何时以及以什么顺序使用压缩和重复数据删除依赖等因素是否压缩将更容易或困难的重复数据删除软件扫描裁员,什么层(一级和二级)你想优化,以及如何快速的产品可以返回数据在需要的时候可用的形式。
——罗伯特·l·谢伊尔
实时压缩要求数据在修改或读取之前先进行解压缩，从而不会延迟访问或降低性能，这适用于数据库和在线事务处理等在线应用程序，Schulz说。他补充说，现代多核处理器的计算能力也使基于服务器的压缩成为某些环境的一种选择。
i365的艾伦说压缩的好处各不相同。对于SQL数据库，它可以按6:1或更多的比例减少数据，但是对于文件服务器，这个比例更接近2:1。FalconStor负责营销的副总裁法迪•阿尔巴塔尔(Fadi Albatal)表示，压缩在备份、二次或三次存储方面最为有效，对于“高度活跃”的数据库或电子邮件应用程序，压缩可以以2:1到4:1的比例减少存储需求。Iron Mountain Inc.的首席营销长拉维(T.M. Ravi)说，当信息管理服务公司Iron Mountain Inc.归档应用程序时，压缩和重复数据删除会减少多达80%的存储空间。
IBM通过收购Storwize，将重点放在压缩主存储上，Storwize的设备将压缩的文件写回原始的NAS设备或另一层存储。Storwize正在对一种基于块的设备进行beta测试，IBM storage的副总裁Doug Balog说。
由Microsoft Office应用程序或流行的图像格式(如JPEG)压缩的文件无法使用许多常见的压缩技术进行压缩，甚至可能会增大大小。Neuxpower Solutions Ltd.声称，该公司的软件可以将Office和JPEG文件缩小至多95%，而不损失图像质量，因为它删除了不必要的信息，比如元数据或细节，这些信息只有在图像放大后才能看到。陶笛纳，戴尔正在收购它该公司表示，其产品提供类似的功能，因为它们使用针对不同类型内容进行优化的多种优化算法，并且能够在各种压缩方法中进行测试和选择，以获得最佳的运行时效率。
重复数据删除和压缩是互补的。“当主要关注速度、性能和传输率时，使用压缩。在有大量冗余数据的地方使用重复数据删除技术，这样可以节省更多的空间，”舒尔茨说。
3.基于策略的分层
基于策略的分层是根据数据的年龄、访问频率或可用速度等标准将数据移动到不同的存储类别的过程(请参阅“存储的政治”)。除非策略要求完全删除不需要的数据，否则这种技术不会减少您的总体存储需求，但是可以通过将一些数据转移到更便宜但更慢的媒体来降低成本。
这个市场的供应商包括惠普公司(hewlett - packard Co .)提供内置的策略管理和自动化文件迁移的StorageWorks X9000, DataGlobal GmbH,说其统一的存储和信息管理软件允许客户分析和管理非结构化文件和其他信息,从而减少存储需求以60%对70%的电子邮件和文件服务器的大约20%。
其他具有分层功能的产品包括来自Compellent Technologies的Storage Center 5、来自FalconStor的HotZone和SafeCache、来自3Par的Policy Advisor、EMC的快速以及F5 Networks的ARX系列文件虚拟化设备。
4.存储虚拟化
与服务器虚拟化一样，存储虚拟化涉及到将多个存储设备“抽象”到一个存储池中，允许管理员根据需要在层之间移动数据。许多专家将其视为一种使能技术，而不是数据简化器本身，但其他人认为它与数据简化有更直接的联系。
Actifio Inc.的数据管理系统使用虚拟化来消除备份和灾难恢复等功能对多个应用程序的需求。它的设备允许客户选择服务水平协议，这些协议管理一系列模板中的各种数据集。
使用此方法，然后将适当的管理策略应用于数据的单个副本，定义数据存储在何处，以及在备份和复制等功能期间如何进行重复数据删除。公司联合创始人兼首席执行官阿什o阿舒托什称，Actifio可以减少75%至90%的存储需求。
5.自动精简配置
精简供应意味着设置一个应用服务器来使用驱动器上的一定数量的空间，但是在实际需要时才使用该空间。与基于策略的存储一样，这种技术不会减少总的数据占用，但会延迟购买更多驱动器的需求，直到绝对必要时才会这样做。
Allen说，如果存储需求快速增长，你必须“非常非常快地做出反应”，以确保你有足够的物理存储。如果采用瘦配置，则需求越不可预测，所需的度量和管理工具就越好。Schulz建议寻找能够识别用户需要跟踪的数据和应用程序，并且不仅监视空间使用，而且监视读/写操作以防止瓶颈的产品。
这个市场的供应商之一是IBM，它已经将精简配置扩展到“我们所有的存储控制器中”，Balog说。惠普在其P4000 SANs上提供了精简配置收购3 par，确保其实用存储产品将减少客户50%的存储需求。Nexsan通过其SATABeast阵列提供精简配置。
在选择数据缩减策略之前，设置策略来帮助做出艰难的选择，比如什么时候为性能付费，什么时候通过减少数据占用来省钱。舒尔茨说，不要只关注减少率，但要记住，在较大的数据集上，减少率越低，节省的成本就越多。
不要被供应商的术语所迷惑。压缩、数据重复删除、“仅更改”备份和单实例化都是减少冗余数据的不同方法。如果有疑问，请根据它们的业务好处和对数据的详细分析来选择存储减少工具。
哪种款式适合你?
根据组织的减少目标和系统设置，重复数据删除系统可以满足许多不同的需求。这里有一个抽样:
* Nexsan通过其Assureon系统为主要数据和存档数据提供后期重复数据删除，并通过其DeDupe SG系统为备份数据提供重复数据删除。DeDupe SG基于FalconStor的重复数据删除软件引擎文件接口重复数据删除系统(FDS)。Nexsan负责战略的副总裁兰迪•查尔芬特(Randy Chalfant)表示，结合单实例数据，这提供了典型的1:5到1:15的比例缩减。