这本由供应商撰写的技术入门书是由Network World编辑的,目的是消除产品推广,但读者应该注意,有个足球雷竞技app它可能更倾向于提交者的方式。
云存储是存储领域的乐土。最近一份451研究报告称,到2017年,AWS和Azure将跻身五大企业存储供应商之列,AWS将位列第二。但是使用云作为主要存储的挑战是存储与用户/应用程序之间的延迟。为了利用云存储的经济、规模和持久性,需要结合缓存、全局重复数据删除、安全性和全局文件锁定来提供组织所需的性能和特性的云存储。
企业战略集团的分析师Scott Sinclair说:“任何时候你把基础设施移到数据中心之外的某个地方,都会涉及到延迟,而且你会遇到雷竞技电脑网站光速的问题:光速只能这么快。”但与大多数存储问题不同的是,实现高性能云存储的诀窍不仅仅是增加磁盘驱动器或闪存。在解决光速问题时,新技术需要依赖特定的创新来解决这个问题——即,将数据放在离计算非常近的地方,或引入某种网络优化或缓存机制。”
让我们先快速看一看AWS S3,以此作为一个例子,说明为什么围绕云存储有这么多的炒作。AWS提供了11个9的持久性,设计用于在两个设施中维持数据的并发丢失。AWS还允许客户在增长时付费,并立即利用存储价格下降带来的好处。这与在实际需要之前以当前的价格购买固定数量的存储设备有很大的不同。
很少有组织(如果有的话)能与AWS的规模相匹敌。从2004年开始,AWS每天都要安装足够的基础设施来托管整个亚马逊的电子尾货业务(当时亚马逊是一家零售商,年收入为70亿美元,只有现在的十分之一)。
既然有这么多优势,为什么云存储只能作为备份而不是主要存储呢?数据中心和云存储之间的光速是难以克服的。但是,有一些方法可以克服延迟并打破光速。
延迟通常表现为性能较慢。这就是缓存、全局重复数据删除和全局文件锁定发挥作用的地方。
本地缓存数据是消除延迟影响的第一步。许多分析师会告诉你,有70%的数据在60天内没有被访问。当我们为潜在客户评估存储时,我们发现他们的数据有90%在六个月内没有被访问。这意味着,如果在办公室缓存热数据或活动数据,其余数据可以存储在云中。
目标是在缓存中尽可能多地保存活动数据。这可以通过使用足够的存储来缓存活动数据和/或使用高效的缓存算法来实现。我们通常发现,即使客户计划增长,他们也会低估本地缓存所需的数量。由于缓存中的数据不需要备份、DR或存档系统,因此他们通常会增加比预期更多的用户,或者在缓存中放入比原来计划的更多类型的数据。
缓存算法使用机器学习来了解哪些数据需要本地缓存,哪些数据可以“退”到云中。缓存算法中可以使用一些技术,根据数据的及时写入方式来预测哪些数据需要保存在缓存中。目标是根据正在访问的数据预测需要什么数据,然后“预取”未缓存的其他数据。
如果使用了全局重复数据删除,从文件的角度来看,缓存不必是非黑即白的。缓存中的全局编辑表使缓存算法能够在不同的文件中利用公共块,因此它只在文件被访问而不是在缓存中完全访问时提取丢失的块。这极大地减少了访问未在本地完全缓存的文件的时间。
在将文件从一个本地缓存传输到另一个本地缓存(假设两个缓存都连接到同一个云存储)时,全局dedup尤其有用。由于每个本地缓存都有一个调整过的表,因此它知道正在传输的文件中缺少哪些块。只有丢失的块实际上在两个不同的本地缓存之间通过广域网进行传输。Electronic Arts将10gb到50gb的游戏构建文件的传输时间从10小时减少到仅仅几分钟,因为实际上只传输了新的文件块。
虽然缓存和调整有很大的帮助,但它们不能完全解决延迟问题。缓存和调整消除或显著减少了数据传输的时间,但不能解决“应用程序闲聊”问题。“人们经常谈论聊天和延迟,但并不完全理解延迟和延迟的组合如何能比数据传输产生更大的性能影响。”这一点可以通过一个时间和动作研究来说明,该研究通过一个聊天应用程序在全国范围内打开一个1.5MB的小文件——从纽约到加利福尼亚。
与其他技术应用程序一样,CAD有大量的文件操作,这些操作在打开文件时按顺序进行。以使用最广泛的CAD程序AutoCAD为例,当文件被打开时,会发生近16,000次文件操作。这就是应用程序的“闲聊”。如果文件的权威副本(带有文件锁)需要86毫秒(从加州到纽约的往返延迟),那么打开文件需要16000 * 86ms——大约22分钟。1.5MB的实际数据传输只是22分钟的一小部分。
这就是全局文件锁定的作用。当文件锁从纽约转移到加州,好像权威的副本文件存储在加州(即使权威的副本仍然在纽约)延迟是局域网延迟而不是广域网延迟,和女士从86年下降0.56毫秒。打开文件的时间大幅下降:16,000 * 0.56ms,总共8秒。
当然,并不是每个应用程序都具有AutoCAD的聊天级别,但是任何为高速、低延迟的局域网开发的应用程序都会有某种聊天,这通常会导致比文件数据本身传输更多的性能问题。
组织可以为他们所有的文件利用云存储的所有好处,而不仅仅是那些他们没有使用的文件。当这种情况发生时,组织开始重新考虑存储。由于云本身具有如此多的持久性和冗余性,客户不得不意识到这样一个事实:用于备份、DR和归档的系统和进程真的不再需要了。一旦您解决了光速问题,这些功能就会成为使用云作为主要存储的自然副产品。