这是Evernote如何将3个PB的数据传达给Google的云

70天,50亿笔记,120亿张文件,以及整个工程工作

谷歌数据中心雷竞技电脑网站
谷歌/康妮周

Evernote的去年决定,它希望从运行自己的数据中心搬走,并开始使用公共云来操作其广受欢迎的笔记服务。雷竞技电脑网站星期三,它宣布除了一些最后的用户附件外,大部分的工作已经完成了。

该公司与谷歌签订了合作协议,作为迁移过程的一部分,这家科技巨头派出了一个工程师团队(有一次带着甜甜圈)与客户合作,以确保迁移过程的成功。

Evernote希望利用云技术来帮助开发基于机器学习的功能。它还希望利用无需运行数据中心所带来的灵活性。雷竞技电脑网站

此举是从企业数据中心,他们自己的移动工作负载走的更广泛趋势的一部分,并越来越多地使用公共云提供商。雷竞技电脑网站而过渡需要大量的工作和适应的,Evernote的记谷歌在与迁移帮助投球。

为什么移动到云?

绝对有很多工作要做。Evernote的后端建立在假设其应用程序将在公司的双加州数据中心运行,而不是在公共云中运行。雷竞技电脑网站那么为什么要完成所有工作?

这一举动背后的许多关键驱动因素对云计算爱好者来说都很熟悉。Evernote的员工不得不花时间维护公司的数据中心,做诸如更换硬盘驱动器、移动电缆和评估新的基础设施选项等事情。雷竞技电脑网站

据该公司业务副总裁Ben McCormack表示,虽然这些功能是保持Evernote Service的整体健康和表现的关键,但他们没有向客户提供额外的价值。

“We were just very realistic that with a team the size of Evernote’s operations team, we couldn’t compete with the level of maturity that the cloud providers have got…on provisioning, on management systems, et cetera,” McCormack said.“ We were always going to be playing catch-up, and it’s just a crazy situation to be in.”

当Evernote的员工想过刷新数据中心,关键问题之一,他们遇到的是,他们不知道他们需要在五年的数据中雷竞技电脑网站心是什么,麦科马克说。

Evernote有几个公共云提供商可以选择,包括亚马逊Web服务和微软Azure,这是公共云市场的更大的参与者。但麦考克表示,公司目前的重点与谷歌的专业领域之间的相似性对选择很重要。Evernote拥有大量的非结构化数据,公司希望通过机器学习做更多。

“你在一起加上这两个,谷歌是那个空间的领导者,”麦卡克说。“如此有效地,我会说,我们正在制定战略决定,并进行战略赌注,即今天对Evernote的重要领域以及我们认为将来重要的领域是谷歌擅长的相同领域。”

机器学习是谷歌的平台Evernote的CTO Anirban昆都,谁说,谷歌帮助提供更高级别的服务提供了新功能和改进功能的基础上的一大亮点。Evernote的一直开着朝一套基于机器学习的新功能,而谷歌服务,如与它的云机器学习的API帮助。

尽管成本往往被吹捧为云迁移的好处,麦科马克说,这是没有的Evernote的迁移的主要驱动力。虽然该公司将推出一些节约出来的举动,他说,成本是不是过渡的限制。

去与谷歌在像AWS或者Azure的其他供应商的决定是由技术团队Evernote的驱动,根据格雷格Chiemingo,该公司的通信的高级主管。他在一封电子邮件中说,首席执行官Chris奥尼尔,谁是在谷歌的大致加入Evernote的前十,排在帮助谈判的决定作出后。

这事是怎么发生的

自从Evernote在10月份与谷歌签订合同后,时间就变得紧迫起来。McCormack说,公司希望在新年之前完成迁移,因为那时希望生活步入正轨的用户会用一连串的活动来打击这项服务。

在今年年初之前,Evernote需要迁移50亿个笔记和50亿个附件。麦科马克说,由于附件中包含了缩略图等元数据,公司不得不迁移120亿份附件文件。不仅如此,该团队还不能丢失大约3pb的数据。对了,Evernote的服务需要一直保持状态。

McCormack表示,一个Evernote团队的初​​步考虑因素是弄清楚其应用程序的核心部分可以完全抬起并转移到谷歌的云中,以及需要以某种方式修改哪些组件作为过渡的一部分。

转型的一部分涉及重构Evernote服务处理网络的方式。此前,该公司使用UDP Multicast来处理部分图像识别工作流,该工作流在公司自己的数据中心工作得很好,它可以控制相关的网络路由器。雷竞技电脑网站

但是,同样的技术是不是在谷歌的云提供。昆都称Evernote的必须返工其应用程序中使用基于队列的模型利用谷歌的Cloud发布/订阅服务而不是。

Evernote的不能只是迁移所有在其用户数据,然后扳动开关从本地服务器流量定向到谷歌的云一举。相反,该公司不得不重新构建它的后台应用程序来处理存储在不同的地方的一些数据分阶段迁移。

好消息是转换不需要更改客户端。Kundu说,这是Evernote迁移成功的关键,因为所有的服务用户都及时升级他们的软件。

Evernote与谷歌工程师的合作对麦科马克来说是一个惊喜。该团队可以全天候远程处理Evernote的问题,谷歌还派出了一个工程师团队前往Evernote的设施,帮助进行迁移。

这些谷歌员工一直在帮助解决Evernote在搬迁过程中遇到的任何技术挑战。谷歌表示,这种工程师与工程师之间的互动是其服务方式的重要组成部分。

对于迁移的一个特别重要的组成部分,谷歌的工程师们就在周日,轴承甜甜圈全部到齐。更重要的是,但是,麦科马克说,他与工程师的协作精神所折服。

“我们有时间的时候......我们已经写代码界面与谷歌云存储,我们有(谷歌)的工程师谁是同行审查的代码,提供反馈和它真正的感觉就像一个伙伴关系,你很少看到,”麦科马克说,。“谷歌希望看到我们成功,并愿意跨越界限的帮助,帮助我们到达那里。”

最终,整个迁移花费大约70天,从签订合同签署到最终完成。根据麦克文克的说法,迁徙的主要部分在12月的大约10天的课程中发生。

经验教训

如果说有一件事是昆都和麦科马克非常清楚的,那就是即使是最周密的计划,也需要一个愿意随时适应新环境的团队。Evernote的迁移是一个采取某些步骤,评估发生了什么,并根据他们所面对的情况修改公司的方法的过程,即使是在进行了广泛的测试和模拟之后。

此外,他们还指出,一旦将所有字节加载到云中,迁移上的工作不会停止。即使在经过广泛的测试,Evernote团队遇到了在谷歌环境中使用的新约束,一旦它被生产在生产中,并轰炸了来自Live Evernote用户的活动。

例如,谷歌使用实时迁移技术将虚拟机从一个主机移到另一个主机,以便应用补丁并解决硬件问题。虽然这种情况发生得非常快,但Evernote服务在满负荷运行时出现了一些问题,这需要(现在仍然需要)优化。

kundu说,在将切换到GCP的切换之前,Evernote已经测试过实时迁移,但这还不够。

Kundu说,当应用程序投入生产时,它的用户行为和负载可能与测试条件不同。“这就是你必须准备好处理这些边缘情况的地方,你必须意识到迁移发生或完成的那一天并不是你全部努力的那一天。你可能会在一个月后发现问题。”

在麦卡网的意见中,另一个关键课程是云准备处理任何类型的工作量。Evernote每年大约大约一次评估迁移,它只是大约13个月前,该公司感到自信,云过渡将是成功的。

“云计算已经达到了成熟的水平和功能的广度意味着它是不可能的,你将无法在云中运行,”麦科马克说。

这并不是说它不需要努力。虽然云计算确实给Evernote带来了运营自己的数据中心所无法获得的好处,但他们仍然不得不放弃对环境的控制,并愿意放弃一些他们习惯于从私人数据中心获得的遥测技术。雷竞技电脑网站

Evernote的工程师也做了很多自动化转换的工作。将用户的附件从服务的内部基础设施转移到谷歌云存储由一对定制的自动化系统处理。该公司使用Puppet和Ansible来迁移持有用户笔记数据的数百个碎片。

迁移的直接好处

一个Evernote的的举动,谷歌的云计算的主要好处是公司提供减少延迟并提高连接的一致性其国际客户的能力。Evernote的的后端没有在地理上分布的方式运行的权利,但谷歌的全球网络的投资提供了一个改进的时候了。

“我们已经看到了在应用程序的某些地区的页面加载时间在申请的某些部分中减少了很大,”麦考克斯说。“我不会说它到处都是,但我们开始看到谷歌力量的好处和谷歌在全球纤维网络上的交通方面得到了贡献。”

现在,该公司仍然在迁移的最后其用户的附件,以GCP的过程。如果这样做了,但是,该公司将能够告诉其用户所有,他们在服务中有静态数据进行加密,由于谷歌的云计算的能力。

从Evernote的角度来看,该公司的工程师们更大的自由度让他们的工作中使用云服务来完成。而不必应付供应物理基础设施电力新功能,开发人员现在有选项的整个菜单,当涉及到开发利用的功能新服务。

“基本上,任何存在的GCP功能,他们被允许访问,玩-在预算的限制,显然-并能够构建。”

此外,云为公司提供额外的灵活性和安心当它涉及到备份,中断和故障转移。

接下来是什么?

该公司寻求进一步的,该公司有兴趣利用谷歌现有的一些现有的服务。Evernote正在调查它如何使用Google Cloud函数,这让开发人员编写代码片段,然后响应事件触发器运行。

Evernote也是Alpha测试一些谷歌云平台服务,尚未发布或透露给公众。Kundu不会提供有关这些服务的任何细节。

在类似的静脉中,Kundu还不会详细介绍未来的Evernote功能。然而,他说,由于迁移而导致的新功能有“几个”。

加入网络世界社区有个足球雷竞技app脸谱网linkedin评论是最重要的主题。

版权所有©2017年Raybet2

SD-WAN采购商指南:要询问供应商(和您自己)的关键问题