SambaNova系统现在是航运的第二代DataScale系统专为人工智能和机器学习。
你可能没有听说过SambaNova, ex-Oracle / Sun硬件主管领导的启动和斯坦福大学教授,但其工作可能很熟悉。劳伦斯利弗莫尔国家实验室的早期采用者DataScale和使用系统2020年COVID-19抗病毒化合物和治疗研究。
“我们的系统部署在超级计算机在劳伦斯利弗莫尔国家实验室,然后使用各方COVID-19抗病毒化合物的研究和开发治疗,”马歇尔说白菜,SambaNova产品的高级副总裁。“是的,他们的一小部分。和大流行是一样糟糕,至少我们得做点什么好。”
SambaNova实际上一开始作为一个软件公司,作为一个由darpa资助的研究项目的一部分。白菜说,公司早期的任务是建立一个软件堆栈将创造更大的易用性和灵活性为开发者开发数据流应用程序,如机器学习工作负载。但该公司对市场上的硬件,自己决定。
的DataScale SN30是一个完整的硬件和软件堆栈2 u壳中插入一个标准数据中心架。雷竞技电脑网站服务器是由红衣主教SN30 RDU(可重构数据单元)处理器,SambaNova自造的芯片,由台积电。
红衣主教SN30 RDU包含860亿个晶体管和能够在bfloat16 688次浮点运算精度。SambaNova不满意cpu和gpu的性能和权力画,觉得他们不是最适合神经网络。
“神经网络的速度变化,任何形式的固定功能的处理器将被淘汰的时候这是录音和交付。你需要一个灵活的硅衬底,我们已经构建了——一个架构,可以重新配置在每个时钟周期的需要基础运营商正在从软件,执行“心说。
这听起来像一个FPGA,但这不是它到底是什么。白菜被称为芯片CGRA或粗粒度可重构体系结构。fpga程序非常灵活,但是非常困难。SambaNova设计芯片更高级的机器学习框架和不fpga可以那么复杂。
随着硬件是SambaFlow基于linux的软件栈,增强在企业集成,如本地Kubernetes支持集装箱的编排和虚拟模型。
根据SambaNova,当训练130亿参数GPT-3模型,新的DataScale SN30系统跑得比一个快六倍eight-socket Nvidia帕A100系统。和白菜说系统有能力做培训和人工智能的推理部分,通常由两个独立的系统。
“传统上,CPU和GPU,你会做你的训练在GPU上,然后你推理在CPU上。导致很多数据之间来回运动系统。SambaNova,我们有一个单一系统映像,可以做培训和推理。所以你看到的消除昂贵的数据移动,”他说。
DataScale系统可用于本地部署和按需通过云服务提供商的合作伙伴。