启动时,IT部门可以控制GPU池,最大限度地利用它们

运行。人工智能正在推出一款软件,可以协调共享组织的GPU资源,而不是将整个处理器用于特定的人工智能工作负载。

人工智能人机图形界面数据
Art24h / Getty Images

其中最严重的部件短缺困扰着所有人,包括英伟达和AMD的gpu。GPU被用于比特币农场,随着世界各地的大型农场吞噬着每一张GPU卡,获得一张GPU卡几乎是不可能的,或者成本太高。

因此,客户需要从现有的gpu服务中榨取每一个周期。一家以色列公司运行:人工智能该公司声称,他们已经修复了两项技术,可以集中GPU资源并最大化它们的使用。

这些技术被称为Thin GPU Provisioning和Job swap。这并不是最有创意的名称,但它们描述了两者在自动分配和使用gpu方面所做的工作。

数据科学家和其他人工智能研究人员经常会收到分配的gpu,这些gpu是留给个人运行他们的进程的,而不是其他人的。这就是高性能计算(HPC)和超级计算机的运行方式,正确地分配处理器对管理员来说是一种魔法。

通过精简GPU分配和作业交换,当一个正在运行的工作负载不使用其分配的GPU时,这些资源会被池化,并可以自动分配给不同的工作负载使用。根据Run:AI的声明,这类似于VMware首次为存储区域网络引入的精简配置,即分配可用的存储磁盘空间,但直到必要时才发放。

“精简GPU分配”会导致GPU资源过度分配,而“任务交换”则会使用预置的优先级重新分配GPU资源。AI说,这两种技术结合在一起,可以最大化GPU的整体利用率。

数据科学家的专长并不总是技术性的,他们不需要处理日程安排和配置。该公司表示,与此同时,IT部门可以控制其网络上的GPU使用。

“研究人员再也不能‘拥抱’gpu了,这让它们无法被其他人使用,”Run:AI的首席技术官和联合创始人罗内恩·达尔(Ronen Dar)博士在一份声明中说。“他们只是运行自己的任务并运行:AI的配额管理、精简GPU配置和任务交换功能无缝地有效分配资源,无需任何用户干预。”

Thin GPU Provisioning和Job swap目前正在Run:AI客户实验室中进行测试。预计将于2021年第四季度全面上市。

Run:AI成立于2018年,拥有4300万美元的资金。

加入网络世界社区有个足球雷竞技app脸谱网LinkedIn对自己最关心的话题发表评论。

版权所有©2021 IDG ComRaybet2munications, Inc.

SD-WAN买家指南:向供应商(和您自己)提出的关键问题