一小时部署Server SAN，还有超融合！

我是自己心目的IT攻城狮，我喜欢在摆弄各种设备和软件中不断探索、试错，直到柳暗花明，乃至日月换新天！可别人眼里，我经常是个不讨好的IT民工！我讨厌这个称谓，因为它道出了我工作中最不情愿又难以避开的部分——搬运、查找、重复劳动！所以，我、我们常常会为一种技术、解决方案倾情——创新，以及搞定了那些我们最讨厌的事情！让工作变得简便、可控、易操作，让IT攻城狮的时间更具宽度，我们就能有更多精力召唤神龙，让“技术男拯救世界”不再是一句调侃！

书接上周，且看龙哥说的“1小时部署Server SAN”怎么实现！

“Server SAN和超融合系统，在部署上有什么区别？”龙哥问道。

看我不知从何说起，龙哥：Server SAN是把用于替代传统SAN的软件定义存储（SDS）部署在多个物理节点上，超融合则是在虚拟化环境中进行类似的部署。

是说超融合系统多了个部署虚拟化环境的环节“一小时”能做完这些么？想想我给办公室搭一台文件共享的NAS，还花了一天的时间，这涉及到多个节点的Server SAN和超融合，虽说有可以并行的环节，真能在一小时内搞定？

传统企业级生产环境的部署始终是一个费时耗力的过程，按照传统方式部署一套企业级虚拟化平台，怎么着也得好几天，这还算小型环境。大型环境花的时间就不能以天来计算了……

龙哥见我不信，就问：“就这套系统，从上架、加电到现在准备就绪，用了多长时间？”

“大约半个小时吧？”

“实际上还可以更短时间。”龙哥坚定地说，“FX2采用模块化设计，所有组件齐备，上电就可以使用，甚至不需要外接交换机。实际上，你只要接通电源，然后花2分钟分配好FD332直连存储模块和PCIe插槽，就可以开始部署了。”

说干就干，龙哥通过iDRAC依次给三个FC630节点挂载上CentOS7.2系统镜像，然后开始安装。因为只是一个小型环境，所以手动完成这些并不复杂。龙哥提醒说：“如果规模比较大，可以用Dell OpenManage或第三方工具来进行统一的安装、部署和管理，就是上百台服务器，也可以批量完成系统安装。”

20分钟CentOS系统安装完毕

龙哥又通过iDRAC将另外一个镜像挂载到FC630上面：“这是XSKY的X-EBS安装镜像。基于Ceph的商业化SDS产品，一键安装，很方便。”

3个FC630计算节点+1个FD332直连存储模块的资源分配图，采用了外部的Mellanox万兆交换机

X-EBS安装很快，10分钟

龙哥通过浏览器登录了X-EBS的管理后台，将另外两台FC630节点上的存储资源（各分配了FD332的一半硬盘）加入到同一个资源池。

添加存储节点和硬盘，上图可以看到，在node01上添加了8块磁盘和一块NVMe SSD。虽然两种转速（15k RPM和10k RPM）的磁盘性能有差异，但在SSD的性能面前，这点差异完全可以忽略不计。

当3台X-EBS Controller虚拟机与对应存储都添加进来之后，就开始设置存储资源池了：

将分布在3个节点上的NVMe SSD添加到一个资源池（High-pool）内，并将副本数设置为2（X-EBS提供了三种选择，分别为1、2、3副本）。

设置好资源池之后，再创建相应的卷（Volume），Server SAN就可以对外提供存储服务啦。

点击“创建块存储卷”，然后输入名称并分配容量大小

龙哥不紧不慢地说：“应用服务器（计算节点）可以通过两种方式访问ServerSAN提供的存储服务：第一种是在应用服务器上安装一个类似Agent的客户端，进行数据传输，XSKY的X-CBS就属于这一种；X-EBS属于第二种，可以通过标准的iSCSI接口跨网络访问。在需要存储服务的（计算）节点上安装iSCSI客户端，然后会生成一个iSCSI的iqn号码；在X-EBS后台管理界面中添加对应的客户端，将服务器节点的iqn号码填入，即可分配存储服务。第二种方法，接下来在VMware环境中的部署就会用到。”

有了Server SAN，超融合还会远吗？

“ServerSAN的安装这就完成了？还没在计算节点上配置访问呢。”我看龙哥已经准备将刚搭建好的这套ServerSAN系统铲掉了。

“通常我们说到ServerSAN，默认是指一种计算和存储分离部署的架构，也就是提到FX2时经常说的‘融合架构’。既然是分离部署，部署ServerSAN就是存储端的任务，不用涉及计算节点。”龙哥还是很淡定，“接下来不是要部署超融合么？肯定会让你看到计算节点上的部署——当然，在虚拟化环境中，是会更方便一点儿。”

“超融合是不是可以理解为，把ServerSAN部署在虚拟化环境中，与应用跑在一起？”

龙哥笑道：“ServerSAN是超融合的基石，可以说超融合代表了ServerSAN的一种使用场景——本来超融合架构就是融合架构的一个子集。当ServerSAN单独使用时，就是将存储控制器（软件功能）直接安装在物理服务器上。而在超融合系统中的ServerSAN，则是将存储控制器部署在虚拟机或者hypervisor之中。虽然形态不同，但本质上没有明显差别。所以，你的理解基本正确。”

ServerSAN与超融合的架构区别，主流超融合比ServerSAN多了一个虚拟化层，其上VM不但有分布式存储控制器，还可以有其他应用VM。

听龙哥梳理ServerSAN与超融合架构的血缘关系，我才理解他以前所说“企业用户对ServerSAN的接受度很大程度上是拜超融合所赐”的含义。既然在3个节点上部署ServerSAN真的用不了1个小时，部署超融合也只是多了安装hypervisor的时间而已吧？

龙哥呵呵一笑：“超融合能有多难？也就1个小时的事儿！”我当然举双手赞成。还用这套DellPowerEdgeFX2，龙哥开始将其部署为一套超融合系统。

安装VMware vSphere 6.2虚拟化平台

安装VMwarevSphere虚拟化平台的过程无需多言，龙哥依次在三个FC630节点上安装ESXi6.2 hypervisor——这一步可以并行化，所以时间并不算长。然后用WindowsServer2012R2操作系统构建两台虚拟机，分别用于ActiveDirectory和vCenterServer。接着登陆vCenter将三台ESXi主机添加到同一个集群。

同时，还需要将ESXi主机上的NVMeSSD和FD332设置为直通模式，用于安装XSKYX-EBS。如下图所示：

将FD332的8块磁盘（即上图红框中的LSIFD332 PERC）和NVMeSSD（上图中的UnknownNon-VolatileMemoryController）勾选设置为直通模式。

安装XSky X-EBS分布式存储

安装完虚拟化平台之后，就可以安装XSKYX-EBS分布式存储软件了。

首先，要在每台ESXi主机上都创建一台虚拟机，并安装CentOS7.x操作系统，用于XSKYX-EBS的分布式控制器——X-EBSController。这种虚拟机，在超融合系统中通常被称为CVM（Controller Virtual Machine，控制虚机）。为了让CVM高效的处理存储I/O，需要将ESXi主机上的存储资源——NVMeSSD和FD332存储——直通（pass-through）给对应的X-EBSController，如下图所示：

将ESXi主机上的NVMeSSD和FD332存储直通给对应的X-EBSController，可以看到FD332被识别为DualROC（RAIDonChip），也就是DualPERC，只是在SDS的场景下，我们不启用其RAID功能。

X-EBS本身的安装，与前面在物理环境下部署ServerSAN的对应环节基本相同，此处不再重复。少数不同之处主要是虚拟化环境造成的，这里面有一些便利，譬如：龙哥在安装vCenter服务器之后，先创建一个CentOS虚拟机，配置好并克隆成模板。在安装X-EBS分布式控制器的时候，直接用这个模板虚机部署三个节点上的存储控制器，时间大幅节省。

X-EBS支持标准iSCSI协议，也就是说，其他主机（包括ESXi主机、虚拟机或者其他物理主机）无需安装Agent即可使用其提供的存储服务。比如，将这个名为LUN1的卷提供给ESXi主机使用。

首先，在需要添加存储的ESXi主机上添加iSCSI适配器，获得iqn号，如下图所示：

在ESXi主机上添加iSCSI适配器，获得一个iqn，如上图红框所示。

然后返回到X-EBS管理界面，创建一个iSCSI访问客户端，然后在提示输入iqn的空白框中输入ESXi主机的iqn。并将LUN1映射到这个iSCSI客户端上，如下图：

然后回到ESXi主机上，在配置界面选择存储器，然后添加存储器即可，如下图所示：

这套基于DellPowerEdgeFX2硬件、VMwarevSphere虚拟化平台和XSKYX-EBS分布式存储的超融合系统就构建完成了。其中FX2提供了基础的计算和存储硬件（还有内部或外接交换机），vSphere整合了计算资源，X-EBS则整合了存储资源。整个超融合构建步骤看起来比较多，但过程并不复杂，而且主要集中在软件环节，就连FX2节点之间的存储硬件分配也只需动动鼠标即可，大幅简化了存储的安装和管理。

构建整套超融合系统只用了一个多小时，而且大部分时间都花在安装vSphere虚拟化平台上。如果这些虚拟化环境已经事先准备好，在其上部署X-EBS并构成一套简易的超融合系统，根本用不到1个小时。

工作做完了！

来杯咖啡，想想有什么新的idea？