英伟达和服务器制造商戴尔EMC, HPE, IBM和超微宣布企业服务器的特色英伟达的特斯拉V100 GPU。问题是，随着企业转向PaaS、IaaS和云服务，为机器学习设计的服务器能否阻止企业服务器购买的侵蚀?最近为物联网引入的加固工业服务器可能表明，服务器制造商正在寻求垂直市场的增长。
将企业工作负载迁移到Amazon、谷歌、IBM和其他托管的基础设施有非常充分的理由。按需资源的可伸缩性、云计算的运行效率和安全性只是众多原因中的三个。例如，谷歌有90名工程师专门从事大多数企业人手不足的安全方面的工作。
上个季度，除了戴尔之外，所有企业服务器公司的营收都出现了下滑。服务器业务正在增长，但不是在企业部门。云计算公司从他们那里购买的东西并不多。相反，他们购买按照自己的规范构建的组件，并构建为其巨大的24X7工作负载优化的基础设施。其竞争对手——谷歌、Facebook、IBM和其他云公司——通过IBM的平台在设计和指定新的硬件组件方面进行合作开放计算项目由Facebook。云计算公司直接从服务器制造商的供应链购买。前几个季度的下跌表明，这是一种难以逆转的长期趋势。
国际数据公司(IDC)
企业机器学习市场仍很年轻，但这些服务器将带来高额利润。通过为企业创新者的机器学习工作负载优化的gpu提供强大的服务器将是有利可图的。随着行业的成熟，抢占市场份额至关重要。
英伟达借鉴了英特尔的做法
英伟达是机器学习和人工智能的英特尔。它的Volta架构借鉴了英特尔的做法。英特尔在个人电脑和服务器平台的工作赢得了其主导地位在开放标准接口与其他评论生产商,如内存和硬盘,和出版参考规范指导系统制造商如戴尔、联想(Lenovo)和许多小制造商设计系统为个人电脑和服务器的价格和性能优化用例。
看Volta建筑白皮书，这正是英伟达的方法，但用的是另一个用例:神经网络。神经网络应用计算资源来解决机器学习线性代数问题与非常大的矩阵，迭代作出统计上准确的决策。神经网络需要大量的计算，因为它们需要无数次地更新数以百万计的参数，以最小化误差并生成精确的模型。这些更新基本上是大矩阵乘法运算。
虽然有许多不同类型的机器学习和人工智能，大多数应用机器学习是监督的。监督意味着用标记的数据集来训练机器学习模型，例如，将一个大的句子语料库及其翻译成另一种语言的过程输入神经网络来训练它，或者创建一个从一种语言转换成另一种语言的模型。当模型达到期望的精度水平后，可以将模型部署为一个推理模型，该模型基于统计的精度概率进行推理。在非常大的数据集中训练神经网络的唯一方法是要么给它们大量的时间，要么给它们大量的并行运行的gpu和大量的共享内存。
机器学习是一门实证科学。工程师需要多次迭代才能学会如何训练神经网络来理解新的用例。即使是最有经验的机器学习专家也不能肯定地说，训练一个模型需要5个值还是5000个值的向量。这意味着要进行大量的实验，为新的用例创建模型，然后进行优化，以适应具有ROI的计算预算。
Snap Chat的侯赛因•迈哈纳(Hussein Mehanna)在领导Facebook的核心机器学习团队时曾告诉我，“长时间的训练会害死一名工程师”，这意味着必须等待训练完成，有时会持续数周。会打断解决关键问题的进程，让试图解决问题的工程师感到沮丧。
目前运行的大多数机器学习模型都是从学术界开始的，比如自然语言或图像识别，并由谷歌、Facebook、IBM和微软等大型研究和工程团队进行了进一步的研究。但是这些问题是孤立的，以匹配这些公司的用例、搜索排名、图像和对象识别等。它们通常是开放源码的，企业可以使用它们，但是它们可能不适用于企业的用例。企业机器学习专家和数据科学家必须从头开始进行研究，并反复构建新的高精度模型。
Nvidia的沃尔特架构
Volta架构包含了超级计算机中用于加速计算和优化以前的cpu、现在的gpu、内存和互连带宽的许多特性。
- Volta架构使用了一个流多处理器，该处理器为深度学习进行了优化，为混合计算和寻址计算进行了优化。并行处理通过细粒度的同步和并行线程之间的协作得到了改进。连接L1数据缓存和共享内存显著提高了性能并简化了编程。
- 它具有高速互连和更高的带宽。多gpu系统之间的连接增加了可伸缩性和并行性。
- 内存子系统使用Samsung HBM2 memory fast memory提供900 GB/s的峰值内存带宽，在运行许多工作负载时可以使用高达95%的内存带宽利用率。
- 多进程服务提高了共享GPU的多个计算应用程序的性能、隔离性和服务质量。
- 在多GPU应用中，让数据接近GPU执行指令可以提高性能。统一内存和地址转换服务将内存页迁移到最频繁访问它们的处理器，从而提高处理器之间共享内存范围的效率。
英伟达为其企业服务器合作伙伴设计了一套体系结构，用于向投资机器学习的企业销售。专业企业,因为企业需要四个特征不一定发现在一起:一个大型语料库的数据训练,高度熟练的数据科学家和机器学习专家,机器学习可以解决战略问题,和一个理由不使用谷歌或亚马逊的现收现付制产品。