任意云 | 硬件辅助超融合：任意云中的全闪存VSAN

超融合的概念我想大家都不陌生了，通俗地说是将计算、存储融合在一个节点内，并支持分布式高可用及Scale-out线性扩展。

超融合可以使用成本较低的标准化服务器硬件，而本文要讨论的则是比较有特色的设备——“硬件辅助超融合”能给用户带来哪些更多的价值呢？

在《戴尔+UnitedStack托管云：不是偶然的合作》一文中，我们为大家简单介绍过下图，并围绕基于OpenStack开源平台的任意云展开了讨论。

本 文接着谈谈戴尔与VMware的合作。在上面的红圈部分，Hybird Cloud Platform RA（混合云平台参考架构）with vRealize是一套由PowerEdge FX2服务器+SC4020存储等组成的方案；而采用VSAN超融合的VMware EVO: RAIL基本上被限定住了规格，不同合作厂商之间没有太多的差异化。

偏于同质化的产品，写出来大家不见得感兴趣。本文的主题和VSAN相关，自然想介绍一些戴尔有特色的东西，而任意云方案的一个重要特点就是开放。

VSAN认证节点及全闪存性能/寿命要求

这张图是来自戴尔的VSAN认证节点（注：随时可能有更新）。其中“AF-x”系列代表全闪存，“HY-x”表示SSD+硬盘混合存储。后者使用的服务器属于相对通用的规格，而全闪存VSAN节点则清一色采用了PowerEdge FX2模块化的融合基础架构——由刀片和多节点机架式服务器在技术上汇聚而来。

上面为VMware对VSAN全闪存节点的配置要求。我们看到“容量层闪存”和“缓存层闪存”除了对容量和数量的要求不同之外，还分为多个寿命和性能等级。

VSAN的SSD性能等级要求。从B到F一共5档，其中Class F的十万以上写IOPS已经达到了PCIe/NVMe或者目前顶级SAS SSD的水平。

VSAN的SSD寿命等级要求。其中Class A的5年365TB写入容量适合全闪存配置中的容量层；Class B适用于混合配置中的Cache层；而Class C和Class D（7300TB写入）分别针对中等/高负载的全闪存配置Cache层。

PowerEdge FX2更高的存储密度

这是戴尔VSAN认证节点中的全闪存服务器配置，除了计算节点之外，值得重点关注的还有SSD配置，毕竟VSAN玩的就是存储。
我们看到容量层SSD一律是性价比较高，写入寿命相对差一些的读密集型MLC；而Cache层则是混合用途或者写密集型SSD。

上图中只列出了FC计算节点的数量，但没有注明它们安装在几个FX2机箱中，以及搭配有多少FD332存储模块。在进一步比较计算/存储密度时，我们可以查看VMware网站上的详细配置文档。

上表引用自《VMware Virtual SAN Ready Nodes》

以AF-8系列中的3 x FC630刀片配置为例，使用了2个FX2机箱、搭配3个FD332存储模块（与计算刀片一一对应）。SSD分配到每个FC630就是2个缓存SSD+12个容量层SSD，所有闪存盘都是2.5英寸标准部件。

去年11月在上海举行的戴尔企业客户峰会（DEF2015）上展出的一台PowerEdge FX2，里面安装了2个FC630节点。

以上配置在这个2台FX2合计4U机架高度中，实际上利用了3/4的空间，还有一个FC630+FD332的扩展潜力。折合2U 28 x SSD的存储密度，超出了2U 24 x 2.5英寸盘位的传统“双子星”服务器。

我们就不列出更多的详细配置表，下面按需向大家介绍下另外几款配置中的特色之处。

PCIe交换架构、灵活拆分的FD332存储模块

如 上图，这款AF-6系列配置构建在包含4个FC430服务器，和2个FD332存储模块的PowerEdge FX2上。每个FD332的双RAID控制器（PERC，在VSAN中作为SAS HBA直通使用）分别映射到1个FC430服务器，它们之间的连接关系见下图。

可以看出，FX2机箱中的每个服务器和存储单元都是通过中板连接到PCIe交换模块，以实现互连互通。

FD332存储模块一共支持16个2.5英寸驱动器，可以从PowerEdge FX2机箱抽出后在两侧维护。

以上AF-6系列中的FC430，在一台机箱中满配了8个缓存SSD+24个容量层SSD，达到了2U 32个2.5寸驱动器的存储密度，比前面的FC630还要高。

上面是一个FC830节点，下面是整套FX2机箱。本文中VSAN使用的SSD都是2.5英寸，示意图计算节点上的1.8英寸扩展位仅供参考。

再来看一下FC830，4路服务器应该是针对计算密集型的。其中AF-6系列的3个FC830安装在2个FX2机箱中，6个缓存SSD+8个容量层SSD分配到每个计算节点（1U高度）就是8个2.5英寸驱动器，这样直接在FC830上解决就不用FD332存储节点了。2个FX2机箱中占满了3/4，还空着一个全宽的扩展位。

而AF-8系列的3个FC830节点，一共连接了6个缓存SSD+36个容量层SSD，这时就需要3个FX2机箱并且搭配3个FD332存储模块了。如果需要的话，每机箱可以添加第二个FD332。

写到这里不知是否有人会问，PowerEdge FX2会不会比标准服务器成本要高？以上介绍的存储密度优势是否值得？其实FX2不只有专用的存储模块，还有多种网络交换模块和CMC机箱集中管理模块等设计。

FN I/O Module网络模块东西向流量优化

上面的照片是FX2机箱后部，除了PCIe扩展卡和右边的冗余电源位置之外，左边红圈的部分是2个直通网络模块。它们可以将最多8个计算节点上的2个万兆以太网口引出，计算节点之间通信也是通过网线连接到交换机。而FX2还可选另外3种FN I/O Module如下： 

表格里为PowerEdge FX2 3种可选的FN I/O Module网络交换模块，它们对内都能提供8个到计算节点的万兆连接。为了保证网络结构的冗余性应该配置双模块。

在 《PowerEdge FX体系结构 — 针对未来的数据中心彻底改造机架式服务器》解决方案简介资料中：“除了标准的1 Gb和10 Gb直

通I/O模块，三个强大的I/O聚合器（PowerEdge FN410S、FN410T和FN2210S）也能简化缆线管理（按最高8:1比例聚合缆线）并实现其他网络功能。他们优化了机箱内部东西方向的服务器到服务器流量，通过加快虚拟机迁移和显著降低总体延迟大大提高了总体性能，并且它们还支持LAN/SAN聚合并可简化网络部署。”

可见，FN I/O Module交换模块可以减少万兆交换机端口占用和线缆数量，特别是本文中的4节点FC430配置更是可以在机箱内实现全部VSAN集群通信流量。另外，如果用户已经准备好万兆交换机端口并且不在意线缆数量，也可以使用直通网络模块。

结语

本文讨论的方案核心是VSAN分布式软件定义存储，而好的软件如果搭配优化的硬件则能发挥出更强大的威力。我们将PowerEdge FX2+VSAN称为硬件辅助的超融合，在“服务器沦为白菜价”的今天，这些正是精心打造的差异化硬件之价值体现。