高性能计算:您需要它吗?

随着成本的降低和用例的增加,高性能计算吸引了各种类型和规模的新用户。扩展的选项包括基于超级计算机的高性能计算系统、基于集群的高性能计算和云高性能计算服务。

马克西姆照片/盖蒂图片社

在当今数据驱动的世界,高性能计算(HPC)正在成为企业的首选平台,这些企业希望在基因组学、计算化学、金融风险建模和地震成像等领域获得深入的见解。最初,高性能计算受到需要进行复杂数学计算的研究科学家的欢迎,现在,越来越多的企业开始关注这一领域。

“依靠数据的收集、分析和分配而繁荣发展的环境——依靠可靠的系统来支持具有巨大计算能力的简化工作流程——需要高性能计算,”戴尔·布兰特利说PanasasHPC数据存储系统提供商。

尽管中小企业的采用仍然相对较少,但对于愿意在技术和人员专门知识方面进行投资的组织来说,这种技术具有巨大的潜力。

通常,HPC用例关注于某种类型的模拟。“模拟机翼上的气流、发动机内的燃烧、行星天气系统、核反应或投资组合的估值,”凯文·基塞尔(Kevin Kissell)说,他是首席技术官办公室(office of The CTO at)高性能计算和量子计算的技术总监谷歌云。其他用例以分析目标为目标,例如度量广告ROI或评估业务单元的性能。还有一些用例可以归类为转化用例或转换用例。“就像电影和视频渲染,”他说。

没有超级计算机的高性能计算

许多企业和IT领导者都有一个误解,即所有的HPC系统都是基于超级计算机的。事实上,虽然超级计算机是由公司生产的阿托斯,IBM,HPE /克雷富士通作为众多专业HPC系统的核心,一种更广泛使用的方法是将多个小型计算机集成到一个互连的集群中,以提供HPC功能。在这种安排下,集群中的每台计算机都充当一个节点。每个节点通常配备多个处理器,称为计算核心,处理计算任务。每个节点内的处理器、图形处理单元(GPU)和内存资源相互连接以创建一个HPC系统。

由于购买和操作一台超级计算机及其定制软件的成本很容易达到数百万美元,因此这项技术仍然远远超出了大多数企业的财力范围。集群型的高性能计算机使用相对便宜的、运行现成软件的互连计算机,通常更易于部署和操作。尽管如此,对于大多数企业,特别是那些只需要有限的高性能计算的企业来说,即使是一个中等规模的基于集群的高性能计算也可能是一项重要的投资。

这种情况现在正在改变。希望在不违反IT预算的情况下获得HPC访问的企业现在可以选择转向公共云服务,比如谷歌云,微软Azure,亚马逊网络服务(AWS)和IBM Cloud

net技术主管Maksym Pavlov说:“这些服务使企业能够访问HPC功能来满足他们的业务需求,而不需要在HPC集群的硬件基础设施上进行大量投资。Ciklum该公司是一家数字服务和软件工程公司。“云的出现在一定程度上拉平了小公司和大公司之间的竞争,”IBM艾级计算副总裁David Turek补充道。

从HPC集群转移到云HPC

北卡罗莱纳大学教堂山分校(北卡罗莱纳大学教堂山分校)长期以来一直依靠其本地高性能计算集群来支持多个科学、工程和医学领域的研究活动。然而,随着研究计算需求的持续增长,用户需求开始超过当前系统的计算资源和能力。与其扩大现有的高性能计算投资,哈佛大学决定转向云计算,为用户提供随需应变的高性能计算环境。

实践证明,这种方法具有成本效益和高度灵活性。北卡罗来纳大学教堂山分校(uc - chapel Hill)临时首席信息官迈克尔•巴克(Michael Barker)表示:“有了云,我们可以提供完成工作所需的必要计算,并在工作需要的时候随时提供计算。”“这是一种非常有效的方式来交付运行计算工作的需求。”

北卡罗来纳大学教堂山分校的高级研究助理杰夫•罗奇表示,向云计算的转移既是必要的,也是受欢迎的。“我们有一个非常传统的现场集群,”他说。然而,随着时间的推移,越来越多的用户需要先进的计算能力和更快的性能,而系统却逐渐跟不上这些用户的步伐,这一点变得越来越明显。他表示:“我们发现,我们的on-premises集群对其设计目标用户的工作效果非常好,但他们的一些边界情况正在变得不那么边界情况。”

随着需要计算的用例迅速成为规范,北卡罗莱纳大学教堂山分校开始与谷歌云计算和仿真分析软件提供商合作Techila技术来规划它的云高性能计算之旅。规划后的第一步是概念评估的证明。罗奇说:“我们找了一名在校的研究人员,他当时正在做大量的高内存、交互式计算,我们试图测试他的工作量。”他指出,这个结果绝对是成功的。“研究人员真的很享受;他完成了他的工作。”的same task could have taken up to a week to run on the university's on-premises cluster HPC. "He was able to get a lot of his run done in just a few hours," Roach says.

在大西洋的另一边约克大学还决定采取基于云的高性能计算方法。英国皇家学会(Royal Society)工业研究员、约克大学(University of York)生物系教授詹姆斯·钟(James Chong)指出,HPC在生物、物理、化学和计算机科学等科学院系,以及语言学和其他一些学科的师生中被广泛使用。

Chong所在的部门目前正在使用谷歌云分析DNA序列数据。他解释说:“具体来说,我的团队对微生物群落很感兴趣,这是一种混合微生物群落,参与将废物转化为沼气,在我们的研究中,是污水污泥。”“我们使用HPC将短DNA序列重新组合成一个宏基因组,然后分离出不同微生物的基因组,这样我们就可以了解这些微生物是如何对生长条件的变化做出反应的。”

与北卡罗来纳大学教堂山分校的同行一样,Chong欣赏高性能计算云服务所能提供的强大功能和灵活性。他说:“我们的高性能计算需要能够满足一系列的需求——一些用户需要大量的处理器,另一些用户需要高内存机器。”“作为生物学家,我们使用的一些应用程序很快就会被I/O绑定,所以超高速磁盘访问也很有用。”

大学使用的云高性能计算也有能力适应不断变化的需求。Chong指出:“我们很多人都开始使用机器学习技术,希望能够利用不同的架构。”他补充称:“(这所大学)用户范围广泛,这意味着我们也需要访问一系列不同的软件包。”与大多数云hpc一样,York使用的服务允许各种类型的研究人员在软件工具之间轻松快速地切换,而不会在获取、部署或配置问题上浪费时间。

一台超级计算机的高性能计算

尽管云HPC服务具有一定的优势,但对于关心安全性和隐私的企业来说,它并不总是最佳或最合理的选择。塔瑞克说:“人们对数据的位置非常敏感。“尤其是当你看到欧洲的国内生产总值(gdp)约束时。”(GDPR is the General Data Protection Regulation, the European Union’s privacy law.)

解决隐私和大规模计算能力的需求,迈阿密大学最近选择投资一个新的,在场所,基于超级计算机的高性能计算系统。最重要的是,该大学相信,拥有大量多维数据集的研究项目可以在专门设计的高性能超级计算机上运行得更快。

去年8月,该校推出了基于Power Systems AC922服务器的新型IBM Triton超级计算机。迈阿密大学计算科学中心(University of Miami’s Center for Computational Science)主任、负责数据和研究计算的副教务长尼古拉斯•济南马斯(Nicholas Tsinoremas)指出,2000多名学生和教员已经在使用该系统从事气候预测、基因组学、生物信息学、计算机视觉和人工智能等项目。

部署虽然成功,但遇到了一些最初的障碍,这几乎是任何HPC采纳者都能预料到的,无论其规模、领域或计算需求如何。“移民问题一直是个问题,”Tsinoremas说。还必须处理用户培训和再培训的问题。“新系统与遗留存储系统的集成是另一个挑战,”他指出。

所有这些问题都突出了一个事实,即无论HPC系统是基于本地还是在云中,轻松采用HPC都需要大量的计划和准备工作。Tsinoremas警告称:“内部专家是必要的,机构必须有一个计划。”了解工作负载的性质和需求也很重要。“换句话说,(采用者)需要了解他们试图解决的问题,以及他们希望HPC如何帮助解决这些问题,”他表示。

开始了解HPC工作负载

另一个要点是选择正确的资源管理工具的重要性,它使组织能够访问和优化HPC环境。“无论您是购买传统的HPC硬件环境、利用云中的HPC,还是两者兼得,为您的工作类型和吞吐量需求选择合适的HPC工作负载管理器都是至关重要的,”HPC的高级产品管理总监Jeremie Bourdoncle说“牵牛星”该公司提供仿真软件和其他与高性能计算相关的工具和服务。工作负载管理器可以自动化作业调度,以及管理、监视和报告功能。

Kissell建议采用一种侧重于知识、简单、选择和谨慎的采用策略。他建议:“这可能是一段漫长的旅程,所以要计划好你的旅程,但也要给自己调整路线的机会。”选择一个简单但有代表性的测试用例,在这个用例中可以清楚地识别从HPC模拟或分析中获得的知识和见解。“然后选择一个简短的软件包列表,针对你的问题,并尝试他们。”

加入网络世界社区有个足球雷竞技app脸谱网LinkedIn对最重要的话题发表评论。

版权©2019Raybet2

工资调查:结果在