Google表示TPUv4超级计算机比任何时候都强高效,
Google新白皮书详细介绍公司使用光电交换机机器学习培训超级计算机表示TPUv4模型使用这些开关比通用处理器提高性能和能效
GoogleTensor处理单元-公司AI超级计算系统基本构件-本质上是ACIC系统,这意味着它们的功能建建在硬件层次上,而许多AI培训系统使用通用CPU和GPU白皮书详细描述谷歌通过光电切换连接4000多TPU实现速度比前几模型快10倍同时消耗不到一半能量
面向AI性能、物价突破
白纸显示,密钥是光电交换法(这里由Google自定义交换器实现)允许动态修改以连接系统表层学Infiniband等系统在其他HPC区常用,Google表示系统便宜、快捷和高能效
TPUv4两大建筑特征成本小但优异,SpraseCore处理机加速嵌入5x7x模型,提供数据流核心结构允许嵌入128TiB物理存储器TPUv4超级计算机
Peter Rutten研究副总裁IDC表示,Google论文描述效率在很大程度上是由于硬件固有特征所使用-设计周全ACIC定义比通用处理器努力做同一件事几乎更适合具体任务
ASIC高性能节能接通光电交换机 动态配置网络布局 系统快速
白皮书描述的系统目前只供谷歌内部使用,
表示它具有意义 向它们提供 一种最佳实践假想替代GPUs, 从这个意义上讲,它绝对是件有趣的工作
Google-Nvidia比较不清楚
Google还比较TPUv4性能系统使用HPC常见组件NvidiaA100GPUs时,Rutten指出Nvidia自此释放速度快得多H100处理器,这可能缩小系统间性能差异
并用老式GPU比较归根结底无关紧要 因为这是谷歌开发AI模型的内部过程
