还在用万兆光纤小水管？25Gb以太网了解一下

目前，

在物联网、云计算、AI等

新兴技术的发展大势下，

边缘设备增多，

应用程序激增，

网络数据量暴涨，

凡此种种，

促使数据中心对网络提出了更高的要求，

从10Gb、25Gb到40Gb、100Gb，

带宽越来越高、速度越来越快。

高带宽网络固然能带来更高的传输速率，

不过同时也意味着更高的成本和能耗。

在成本与性能的平衡方面，

25Gb以太网

以低延迟、大吞吐量、高性能的优异特征，

很好地满足了现代化数据中心

现在及未来的带宽需求。

? 2016年，戴尔易安信开始在其主流服务器上部署25Gb以太网，经过四年的发展和培育，25Gb以太网已经被用户广泛接受，并与万兆以太网平分秋色。

以下是知名第三方机构的数据，可以看出，数据中心以太网从万兆/四万兆向25/50Gb转变的趋势非常明显：

▲到2019年，100GE和25GE将构成近60％的数据中心交换端口

▲固定托管的10GbE市场花了20个季度累积发运了500,000个端口，而固定托管的25GbE仅用2个季度就取得了相同的成绩

随着价格逐年降低，加上与万兆以太网布线的兼容，25Gb以太网已经扫除了最后障碍，被广泛部署在虚拟化、云计算和大数据等应用场景，并成为提升超融合（如戴尔易安信VxRail）及全闪存外部存储（如戴尔易安信SC/Unity/Isilon）性能的一柄利器。

同时，随着无线局域网接入带宽从1Gb提升到2.5Gb/5Gb，25GbE园区网也日益盛行，下面我们将通过两个实例观察戴尔易安信服务器在25Gb以太网支持下会表现出怎样的卓越性能。

案例一

PowerEdge R740xd服务器+Broadcom25GbE适配器，展示强大性能

 背景 

一个高效的系统应该将所有部件组合在一起以产生最大能量且无短板限制，而目前服务器整体设计中，I/O（网络）是最大的短板。

戴尔易安信建议企业所有者重新评估其以太网适配器投资，以确保足够的网络带宽。目前最常用的以太网适配器速度是10GbE，接下来的升级版就是25GbE，其单位成本下的性能更高，且能和10GbE对应的产品布线兼容。

考虑到成本效益和向后兼容性，您的工作负载会在什么时候超过10GbE并保证对25GbE的投资？我们决定通过一系列测试比较每个问题的结果，来进一步探讨这个问题。

 测试方案 

我们在运行VMware的PowerEdge R740xd服务器上进行了大量测试，以量化这两种适配器之间的性能差异。

其中，Broadcom 10/25GbE PCIe适配器充当独立变量。测试过程中，在25Gbps适配器上运行16个虚拟机，10Gbps适配器上运行16个、12个和8个虚拟机，一共进行了4组测试，以显示在不同的工作负载水平下，25GbE适配器相比10GbE的优势。

四种类型的VM工作负载（从中等到重度）被应用于每组测试，持续2小时。在实验结束时，会量化延迟、CPU利用率和吞吐量并对其进行比较。

1.性能

如前所述，每个配置的测试组都应用了唯一的VM工作负载：

• DVD Store

• Iometer上的文件服务器模拟

• Exchange Jetstress

• Iometer上的网页服务器模拟

每种工作负载都以不同的强度对服务器施加压力，从而提供广泛的数据分析。每次任务完成都会对所收集的性能数据进行评价，单位时间内完成的任务越多，性能就越高。这4组测试的结果与以下示例类似：

▲比较文件服务器的传输速率，可以看出对于12个和16个VM，25GbE适配器明显优于10GbE

▲虽然没有文件服务器数据那么明显的领先优势，但25GbE仍然要优于10GbE上12个和16个VM的表现

运行在25GbE上的16个VM的总体性能，与运行在10GbE上的8个VM所表现出来的性能相当；相反，与10GbE上12个和16个VM的表现相比，25GbE的性能分别增加了14％和31％。

2.延迟

下一系列测试旨在量化10GbE和25GbE之间的平均延迟增量，相同的四种工作负载在相同的四种配置中运行。以下为比较示例：

▲DVD Store操作的延迟平均值，可以看到25GbE显著改善了10GbE VM工作负载的延迟

▲网页服务器操作的延迟平均值，在12和16VM时，10GbE网卡运行速度比25GbE慢得多

整体延迟遵循相同的模式，如果在10GbE测试中添加超过8个VM，就会产生速度损失，在10GbE上运行12个及以上VM所产生的延迟都比25GbE上运行16个VM负载的延迟高；而对于16个VM的工作负载，我们看到25GbE适配器的总体延迟总体降低了25％。

现在，趋势已经很明显了——当10GbE VM负载大致超过25GbE工作负载的一半时，使用更高带宽的适配器更有利。似乎确实如此，但在得出最终结论之前，我们还有一些数据需要分析。

3.处理器利用率

▲比较16个VM的平均值，可以看出10GbE带宽的不足限制了处理器的利用率

4.吞吐量

▲在这种环境下，直接就4TB电影文件比较25GbE和10GbE的下载速度。10GbE平均速度约为2Gbps，因此限制了其最大性能。而相对的，25GbE的速率上限为4Gbps，电影文件下载完成的时间仅是10GbE的2/3

 结论 

将戴尔易安信PowerEdge R740xd与运行速度为25GbE的Broadcom 57414 NetXtreme-E双端口10/25GbE PCIe适配器相结合，可以提高性能、CPU利用率和吞吐量并降低延迟。

在扩展和利用运行VM的PowerEdge服务器时，我们通常会敦促客户确定是否将网络适配器从10GbE升级到25GbE以防止瓶颈，因为如果不这样做可能会降低基础架构的利用率。

案例二

使用25GbE提高vSAN性能

在考虑数据中心内的性能依赖型应用程序时，客户总是倾向于选择那些能够使每一份支出都能产生最大影响的服务器和网卡。通常，客户希望验证所做的更改是否会影响高速网络性能的应用程序需求。

随着越来越多的应用程序针对ESCi管理程序中包含的vSAN分布式软件层进行了优化，高可用性（HA），vMotion和分布式资源调度程序（DRS）等功能需要堆栈内的高效率。由于vSAN集群中的每个主机都可以为集群提供存储，因此必须评估并消除体系结构中可能降低应用程序性能的任何潜在限制点。

戴尔易安信PowerEdge R740、R640和R940等服务器在默认配置中就包含了25Gb以太网适配器。由于25Gb为加速用例部署带来了明显的好处，企业客户已经迅速从1Gb转到了10/25Gb，从而获得更好的价值、更好的服务和更低的TCO。

以下是可供戴尔易安信服务器使用的部分25Gb网卡列表，囊括了主流网卡大厂，它们均通过了VMware vSAN的兼容性认证。

为了确定网卡的影响，戴尔易安信和Broadcom利用超融合基础设施基准(https://labs.vmware.com/flings/hcibench)进行了一些测试，以一致和受控的方式进行，其结果将为我们提供网络速度之间的出色性能比较。

此处的结果是10/25Gb以太网部署预期性能增益的关键指标，以下是测试拓扑图：

戴尔易安信PowerEdge服务器和Broadcom NetXtreme以太网适配器上的VMware vSAN部署是戴尔易安信客户经过验证的典型用例，VMware vSAN支持超融合基础架构（HCI），用于业务关键业务应用程序，如Oracle，Exchange和SAP等需要企业级可靠性、安全性和高性能的场景。

在VMware vSAN上运行的这些关键任务应用程序可通过10/25Gb以太网速度的优势轻松提高其性能，而无需更新任何其他硬件或任何软件。

 25GbE性能测试HCIBench结果 

在VMware vSAN上运行的应用程序将很快看到从1Gb以太网速度转移到10Gb以太网速度的结果，使用4台PowerEdge R740xd服务器和Broadcom的10/25Gb NetXtreme以太网适配器，VMware vSAN展示了HCIBench基准测试工具性能的巨大改进。

根据我们的概念验证测试结果，与1Gb吞吐量相比，10Gb吞吐量增加了46倍。此外，与10Gb相比，25Gb的吞吐量提高了21％。

 10/25Gb存储IOPS的即时结果 
在存储方面，当从1Gb迁移到10Gb时，利用戴尔易安信PowerEdge服务器和Broadcom NetXtreme 10/25Gb以太网适配器的部署，将在VMware vSAN上看到即时存储性能结果。

与1Gb相比，10Gb以太网的存储IOPS提高了14倍。此外，25Gb以太网在10Gb上的IOPS性能也有15％的提升。
 结论 

戴尔易安信PowerEdge服务器与Broadcom NetXtreme 10/25Gb以太网解决方案相结合形成的构建模块，可通过无与伦比的性能简化部署和实现速度扩展。

为了提高性能，客户只需将其网络从1Gb升级到25Gb，从而提高吞吐量和存储IOPS，向25Gb以太网转变不仅可以增强应用程序性能，还能提高现有计算能力和存储性能的利用率和扩展能力。该测试清楚地表明，vSAN部署将从1GbE到25GbE的升级中大大获益。