IBM、Intel和其他公司质疑Top500关键指标Linpack测试的有效性
就像好莱坞的奥斯卡金像奖一样排行列表高性能计算(HPC)的参与者和观察者们尽职尽责地观察着超级计算机，即使他们口头上怀疑它对卓越的忠诚。
英特尔数据中心集团技术计算营销总监John Hengeveld在本周的超级计算机2010会议间隙说:“500强(使用)一个人为的问题——它没有衡量大约80%的工作负载”，而这些工作负载通常在超级计算机上运行。雷竞技电脑网站“这不是行业具有代表性的基准。”
“这份清单具体衡量的是什么还不清楚，”IBM深度计算部门负责人戴夫·塔瑞克上周接受采访时表示同意。
由美国电影艺术与科学学院(Academy of Motion Picture Arts and Sciences)管理的奥斯卡金像奖(Academy Awards，简称“奥斯卡”)的遴选过程笼罩在神秘之中，观察家们会抱怨哪些电影和人物获得了奖项，哪些仍然被忽视，这或许并不令人意外。然而，对于Top500，不满集中在用于衡量超级计算机的单一指标——Linpack上。
许多人质疑使用单一指标对超级计算机这样复杂得令人难以置信的东西的性能进行排名。
本周在新奥尔良举行的SC2010会议上，一位高性能计算供应商的高管参加了一个小组讨论开玩笑说要把10万部安卓智能手机串在一起来获取最大的Linpack数量，从而揭示Linpack的“愚蠢”。
世界500强榜单每年由德国曼海姆大学的研究人员编制两次;美国能源部劳伦斯伯克利国家实验室;以及诺克斯维尔的田纳西大学。
在最新的迭代中据报道，中国新建成的天河- 1a系统以每秒2.57千万亿次的持续性能位居榜首。排名第二的是能源部的橡树岭领导力计算设施(Oak Ridge Leadership Computing Facility)的捷豹(Jaguar)系统，报告了每秒1.75千万亿次浮点运算。
虽然对Linpack的抱怨并不是什么新鲜事，但今年出现了更多的系统，如天河1a，使用gpu(图形处理单位)，以提高Linpack评级，实际上游戏的Top500名单。
“很难从基准计算出真正的应用程序速度。我不想让Top500仅仅成为gpu数量的竞争。”
“Linpack有很多问题，但它也有一些积极的东西。重要的是要记住，这是一个数字，它应该在许多事情的背景下被看待，”排名的评委之一杰克·唐加拉在颁奖仪式上说。
Linpack的一个优点是，由于它的简单性，超级计算机管理员可以在相对定期的基础上提高他们的分数，这使得不同的设施和系统构建者互相竞争下一个榜首位置时，有令人兴奋的新闻报道。
例如，一年前，克雷制造的捷豹系统，以每秒1.75千万亿次的速度运行美国能源部洛斯阿拉莫斯国家实验室(Los Alamos National Laboratory)的Roadrunner系统(Roadrunner System)被挤出了榜首位置。Roadrunner是第一个在2008年6月突破petaflop的系统，它的速度达到了1.04千万亿次。
但是Linpack只是一个指标，并没有考虑超级计算机的许多因素。
“重要的是您的应用程序在这些机器上运行得如何。这很难衡量，也很难在不同的机器上进行比较，”唐加拉说。
因为Linpack基本上是一组解决线性方程的Fortran例程在美国，它最适合测量机器的计算能力。英特尔的Hengeveld说:“Linpack能让多个处理器在一个大问题上并行工作。”
然而，Linpack在估计机器的内存性能方面就不太合适了，这对于当今许多大数据类型的问题来说是一个越来越重要的指标，Hengeveld说。
塔瑞克指出，Linpack没有衡量的另一个方面是可靠性。他说:“如果你的平均故障间隔时间是一到两周，Linpack不会教你任何相关知识。”
好消息是，越来越多的超级计算基准正在开发和部署。几年来，唐加拉和其他研究人员提供了HPC的挑战该机构根据七个不同的基准对超级计算机进行评级。
在过去的四年里，弗吉尼亚理工大学的研究员吴峰(音)测量了超级计算机的能源效率Green500最新版本将在周四的SC2010上发布。
同样在SC2010，一组研究人员介绍了第一版Graph500，这将是一组基准，衡量超级计算机在数据密集型应用程序上的性能。
该团队已经完成了第一个基准测试——一个涉及多种分析技术的跨多个节点的搜索问题——并宣布了获奖者。位居榜首的是美国能源部阿贡国家实验室的8192核无畏系统，该系统每秒能够执行66亿次引用或结果
时间会告诉我们这些基准是否会取代500强。和奥斯卡奖一样，500强榜单可能也有一种不合逻辑的持久力。
塔瑞克说:“这是一种非常方便的写法。”“我关心的是它传达给休闲用户的错误信息。但我知道，在这个地方买东西的人都很老练，不会被它愚弄。”
约押杰克逊报道企业软件和通用技术突发新闻IDG新闻服务．请在Twitter上关注约押@Joab_Jackson．约押的电子邮件地址是Joab_Jackson@idg.com