思科Nexus 9516数据中心交雷竞技电脑网站换机提供了一个繁重的高密度压力测试

在数据中心的核心有多少端口就足够了?雷竞技电脑网站1024怎么样?

这是我们用来评估思科系统的Nexus 9516数据中心核心交换机的配置。雷竞技电脑网站在这个独家的Clear Choice测试中，我们评估了拥有超过1,000个50G以太网端口的思科数据中心核心交换机。雷竞技电脑网站这是目前为止最大的50G测试，也是密度最高的开关测试，有个足球雷竞技app曾出版。

顾名思义，Nexus 9516支持16个N9K-X9732C-EX线卡，基于思科的CloudScale asic。这些多速芯片可以在100G速率下运行，每个机箱最多512个端口，25G或50G速率下最多1024个端口。我们选择了50G速率，并与测试和测量供应商Spirent Communications合作，全面加载交换机的控制和数据平面。

结果令人震惊。其中的关键是:

• 在涉及IPv4、IPv6和组播流量的测试中，用于所有帧大小的行速率吞吐量

• 支持超过100万条IPv4和100万条IPv6路由

• 支持10000个IP组播组和1020万条组播路由。这两个数字都是单系统多播测试中所达到的最高水平

• 每个端口的功耗在13-22瓦之间

所有测试中反复出现的主题是高度可伸缩的性能。思科交换机转发了我们在每次测试中投给它的每一帧，甚至一帧都没有丢掉。

一百万路线

交换测试通常涉及到用流量加载数据平面，我们确实这样做了，但我们并没有就此止步。除了在所有1024个50G以太网端口上以线路速率使用IPv4单播、IPv6单播和IPv4组播流量摧毁交换机fabric之外，我们还将路由状态完全加载到交换机的控制平面上——大量的路由状态。

在IPv4和IPv6单播测试中，我们启用了边界网关协议(BGP)——现在甚至在大型数据中心内也是一个常见的选择——并在IPv4和IPv6测试中发布了超过100万条独特的路由。雷竞技电脑网站

为了了解100万条路由代表什么，在撰写本文时，考虑整个公共互联网由大约671,000条IPv4路由和40,000条IPv6路由组成。因此，Nexus 9516可以将流量路由到公共互联网上可达的每个网络，并且仍然有足够的回旋余地。

公平地说，Nexus 9516是一个数据中心交换机，而不是核心路由雷竞技电脑网站器。后者通常与多个BGP对等体通信，每个对等体具有不同的Internet视图，从而产生更大的控制平面路由表，称为路由信息库(RIB)。

但所有类型的路由器也只在硬件中安装一条针对特定目的地的最优路由，称为转发信息库(forwarding information base, FIB)。在这个测试中，Cisco设备在其硬件FIB中安装了超过100万个唯一条目，然后在数据平面上，以线路速率将流量转发到每条路由(参见侧栏）．

这是很有意义的，因为数据中心架构师越来越多地使用BG雷竞技电脑网站P，而不是一个内部网关协议，不仅用于全球连接，而且可以到达每个数据中心内的大量主机。在最大的数据中心，比如那些由网雷竞技电脑网站络规模的公司和电信公司运营的数据中心，BGP可能是最稳定的选择，也最容易在出现问题时进行故障排除．

为了测试单播交换能力，我们使用Spirent TestCenter流量生成器/分析器以完全网格模式来爆炸IPv4和IPv6流量，这是加载交换结构压力最大的方式。我们为所有1024个港口提供了流量(参见“我们是如何做到的”侧栏)。在每次测试结束时，我们测量了八种帧大小中每种帧的吞吐量、延迟和抖动。

在开关测试中,吞吐量有一个特殊的含义:它是一个交换机转发所有提供的流量而不丢失任何帧的最高速率。对于Nexus 9516，报告吞吐量很容易:它总是以线速率移动流量，而不管帧大小。正如测试结果表所示，在我们的任何测试中，思科交换机从未丢失过任何一帧。

有个足球雷竞技app网络世界/ IDG

我们应该注意，我们关闭了所有不必要的服务，以便用测试流量完全加载交换机fabric。这包括我们没有使用的协议，如Internet控制消息协议(ICMP)，它是IPv4的重要组成部分，特别是在生产网络中的IPv6操作。我们还禁用了Nexus交换机用于系统组件健康检查的内部诊断服务(使用“没有诊断监控模块 test all命令，向用户公开)。在我们的测试期间，线上的唯一帧是测试流量、BGP保持连接和TCP ACK消息。

有些人可能会正确地声称这不是一种“真实世界”的方法，但是这种抱怨忽略了基准测试的要点。中描述的RFC 2544，这是一种工业标准方法，用于对基准网络设备性能、非必要流量进行基准测试应该禁用为测试交通让路。

我们的目标是描述Cisco设备在最坏情况下的转发和延迟特性(参见侧栏我们是如何做到的）．复制现实世界条件的某些定义在这里是行不通的，因为这个术语没有单一的定义，而且还因为重放生产通信量不会完全负载交换机。一个好的基准测试必须是有压力的，而这些测试产生了压力最大的交通条件。

我们还测量了延迟和抖动(延迟变化)，对于语音和视频等延迟敏感的应用程序，这是比吞吐量更重要的指标。一些高性能计算和高频交易应用程序也对延迟和抖动高度敏感。

RFC 2544还要求在吞吐量速率上测量延迟，这就是我们在这里所做的。所有情况的平均时延都小于4微秒(µsec)，最大时延都小于6微秒(除一种情况外)(再次见表1)。唯一的例外是1,518字节帧的IPv6流量。

从表面上看，低到单微秒的延迟似乎不太可能影响应用程序性能，因为它通常需要时间毫秒在用户发现问题之前的延迟。

但是，我们应该注意到，在50G速率下，将64字节帧放到线上只需要大约100纳秒，插入最大长度9,216字节的巨型帧只需要大约1.5µ秒。那么，为什么会有额外的延迟呢?

如前所述，我们将测试设计为对开关施加最大压力。除了使用压力最大的流量模式外，我们还在单播和多播测试中使用了动态路由协议。

这些协议会增加一些额外的流量，例如在1024个端口上每30秒发送一次BGP保持alive消息。这并不多，但考虑到管道已经充满了测试流量，这意味着至少有两帧将在同一时刻到达相同的目标端口。这将迫使交换机缓冲至少一个帧，增加延迟和抖动。给定足够长的测试持续时间(我们将所有测试迭代运行5分钟)，延迟和抖动可能会远远高于理论最小值。即使在50G以太网速率下，我们也不认为低单微秒的延迟有问题。

多播:攀登新高度

并不是所有的企业都大量使用IP多播，但是对于那些使用可伸缩性的企业来说是一个关键问题。在某些行业，如金融交易和有线电视，通过多播向最大数量的用户进行快速传输是至关重要的，这实际上代表着数十亿美元的收入。

这项测试至少在三个方面为多播开辟了新路。我们用10000个唯一的IPv4多播组地址进行了测试，这几乎是以前任何一个组的两倍有个足球雷竞技app项目。此外，我们将交换机配置为将多播流量复制到1023个端口，这是另一个记录。最后，因为Cisco交换机使用组播路由来转发流量，它必须建立一个包含1020万个唯一条目的路由表(10000组乘以1023个目的端口)。所有这些特性使这成为迄今为止我们尝试过的规模最大的多播测试。

为了测量组播性能，我们配置了Spirent测试工具来模拟交换机1024个端口中的1023个组播接收器。每个接收器都加入了10000个相同的多播组。然后我们验证了交换机已经正确地构建了一个包含1023个订阅端口和1020万条唯一组播路由的组播表。最后，我们让Spirent工具向一个端口提供多播流量，目的是所有组地址，迫使交换机复制每个输入帧1023次。

与单播测试一样，我们测量了八种帧大小中的每一种的吞吐量、延迟和抖动。至于组播吞吐量，交换机总是以每帧大小的行速率运行，并且在我们的任何5分钟压力测试中从不丢弃任何帧(再次参见上面的结果表)。

在不同的帧大小中，延迟和抖动都是低且恒定的。事实上，这两个指标都显著低于单播流量的类似测量，最高为2µ秒。在某种程度上，这是因为多播的点到多点特性对交换结构的压力小于单播测试中的完全网状流量模式。

尽管如此，值得注意的是，在多播测试中记录的最高最大延迟——4.085µsec，带有1518字节帧——比IPv4单播测试的最高数字(6.21微秒的最大延迟，同样带有1518字节帧)低了大约32%。

多播抖动的区别甚至更大。这里，最坏情况下的最大抖动结果(345纳秒，64字节帧)比IPv4单播流量的最坏情况最大抖动(2.853µ秒，1,518字节帧)低8倍以上。

简单地说，Cisco Nexus 9516简单地说，即使以前所未有的规模，也可以如此低 - 对应用程序流量的影响将可以忽略不计。

功耗:更环保的开关

我们最后的测试测量了一个开关在配备这么多端口时需要多少功率。使用设备10个电源中的两个，我们测量了空闲时的电流绘制，以及处理64字节、1,518字节和9,216字节的线速率帧时的电流绘制，使用与IPv4单播测试相同的参数。

在确定了思科设备在所有10个电源上的统一负载分担功率后，我们可以对两个电源进行测量，然后乘以5得到总瓦数。

电力消耗范围从低值约13.7千瓦，空载时，最大22.5千瓦，满载64字节帧(见电力消耗表)。短帧消耗更多的能量，因为它们产生更多的电状态转换;帧率越高，能量消耗越高。1518和9216字节帧的功率使用都在15千瓦左右，比短帧的功率更接近空闲数。

有个足球雷竞技app网络世界/ IDG

这些数字有两点需要注意。首先，从表面上看，一个开关22543瓦的电力预算看起来很多，事实也的确如此。但请记住，这是一个相当大的数据中心核心交换机，满载1024个50G以太网端口。雷竞技电脑网站

在每个端口的基础上表示，功耗范围从空闲时的13.04瓦到通过所有端口将64字节帧移动到100万条路由时的22.02瓦。对于多速25/50/100G端口，这些实际上是相当有效的功率数字。

其次，所有的功率测量包括每个端口大约3.5瓦，每个端口需要为每个光纤收发器供电。收发器本身并不是交换机的一部分，但同样，没有它们，客户无法转发流量。这就是为什么我们不从这些测量中减去收发器的功率。

Nexus 9516在这个项目中打破了很多新领域:它拥有最高的50G端口数，以及迄今为止最高的端口密度有个足球雷竞技app开关测试。它将流量路由到超过100万条IPv4和IPv6路由，以及创纪录的1020万条多播路由。它提供了低且一致的延迟和抖动，并且在我们的任何压力测试中从未丢失过一帧。对于这样一个大型系统，其功耗相当合理，特别是在按每个端口计算时。在控制和数据平面上，这些高度可扩展的数字意味着思科Nexus 9516为网络架构师提供了一定程度的未来数据中心的保障。雷竞技电脑网站

谢谢

有个足球雷竞技app网络世界非常感谢在整个项目中支持测试和测量供应商的支持。除了提供带Quint-Speed MX3交通模块的螺旋测试中心交通发电机/分析仪，螺旋式布鲁克斯希克曼，摩根麦克唐纳，Bob Paull，Vijai Raghu和Bala Ramakrishnan在生产测试之前，期间和之后提供了广泛的工程支持。

(大卫·纽曼(David Newman)是加州西湖村(Westlake Village)一家网络基准测试和设计咨询公司Network Test的总裁。可以通过dnewman@networktest.com联系到他。)