当软件定义大潮不可阻挡的到来,传统服务器+网络连接存储阵列的用户发现他们多了一种选择。包括VMware vSAN和Dell XC系列在内的产品,都属于一个大类——基于分布式存储的超融合架构。
vSAN 的设计就是为了自家虚拟化,所以把自身嵌入到vSphere Hypervisor;Dell XC超融合设备则是每个节点上有一个CVM虚拟机运行的分布式存储软件。许多第三方厂商都是类似的实现,这样做也有一定好处,那就是可移植性。Dell XC除了VMware ESXi之外,还支持微软Hyper-V和AHV(KVM)虚拟化环境。
Dell XC几年前就在NDFS分布式文件系统上实现了压缩和重复数据删除,以及快照和克隆的支持,如今这些功能逐渐成为超融合产品的标配。vSAN 则倾向于简捷的设计——快照和克隆都是沿用vSphere虚拟机自身的功能。
本文将重点讨论Dell XC系列比较有特色的两个存储特性。
超融合存储的本地读优化
在传统服务器+SAN网络+存储阵列架构中,所有主机都是通过存储网络访问集中式存储,数据的可靠性和可用性在后者内部实现。而基于分布式存储技术的超融合集群,其虚拟机数据通过副本保护存放于多个服务器节点上,以此来保证冗余高可用。
在分布式存储/超融合集群中,相当于用以太网替代了传统FC交换机的功能,这时选择一款高品质的交换机更为重要。在Dell XC推荐的参考配置中,我们可以看到Dell Networking S4048-ON这款10/40 GbE架顶式开放式网络交换机——高密度1RU 48端口10 GbE,具有6条40 GbE上行链路,且具有超低延迟、无阻塞,可确保实现线速性能。
如果不做特别的设计,虚拟机需要访问的数据副本不一定位于其所在节点本地,读写操作将会增加一些集群间的网络流量。Dell XC超融合使用了下面的“本地读”技术来对此进行优化。
在常规情况下,每个虚拟机写入NDFS的数据,其中一个副本放在服务器本地存储,以保证后续读取不通过网络提高效率。一旦出现虚拟机迁移到其它节点,将会遵循以下规则处理:
新写入的数据,继续按照本地读优化规则,在新的服务器宿主机存储一个副本。
当虚拟机在新位置读取原来节点上的数据时,会触发数据迁移以维持“I/O本地化”。
(注:只在读操作发生时才移动数据,以减少网络流量,同时我们也应考虑到虚拟机可能随时根据需要迁移回原节点或者新的位置。)
在虚拟机被迁移之前,如果有部分数据的“第二副本”正好位于迁移后的新宿主机,这些数据在读取时将无需触发数据移动。
为什么要做“影子克隆(Shadow Clones)”
当从事技术工作到一定阶段,就会发现每种技术路线/选择都会有其限制,基本上没有十全十美的。无论是否为支持“本地读”的超融合,我们注意到一些分布式存储设计为只从主副本读,这样做不只是为了图省事,也能节约内存/SSD缓存的使用。
在I/O访问足够离散的情况下,只从主副本读不会造成不均衡的情况。而在服务器虚拟化应用中却有一种情况可能造成数据热点,那就是在分布式存储上创建快照,并以此作为虚机模板(黄金镜像)。如下图,此时“Base VM vDisk”的原有数据块被冻结为只读,而同时它还要为“链接克隆”并运行于其它服务器节点上的虚拟机提供读访问。此时怎样同时照顾多个节点上的“本地读”呢?
针对这种应用场景,Dell XC特别设计了影子克隆(Shadow Clones)特性。一旦NDFS定义基础虚拟机目标磁盘为multi-reader状态,该vDisk将被标记为不可变,并在出现跨节点读虚机模板时将数据缓存在本地CVM控制的存储上。
如此一来,在快照/克隆之后每个节点上的虚机仍然能够做到本地读,有效分散了数据热点。影子克隆(Shadow Clones)会增加一些磁盘占用,相比之下集中式存储阵列没有这个问题。比如Dell SC遇到SSD或者HDD分层性能不足的情况,向宽条带化存储池中添加对应的驱动器就可以轻松rebalance扩展性能。当然,这是由分布式/集中存储自身的特点所决定,并不意味着选择阵列就不需要做IOPS和SAN网络带宽性能设计。
在线压缩与SSD数据结构
Dell XC超融合提供了高效的数据压缩特性。如下图:大数据块或者顺序I/O将在内存中压缩处理并直接写入Extent Store持久存储层;而随机I/O则直接先进入OpLog——位于SSD上的写缓存,经过合并、在写入到Extent Store之前进行压缩。这样做显然是性能优先的考虑,原则上不会因为压缩处理而增加延时。
就像我在《存储极客:为什么说VSAN与Dell SC渐行渐近?》中所写,如今分布式和集中存储系统中的有些技术是相通并可以借鉴的。Dell SC阵列的活动数据压缩,也是先将原始内容直接写入高速SSD RAID1分层,然后向RAID 5/6或者HDD执行自动分层存储的数据调度时执行压缩。这一点与Dell XC超融合的在线压缩有类似之处。
Dell XC特色功能:Dual-SD快速系统恢复
在Dell服务器上有一个特色的Dual-SD模块选件,可以用于安装VMware ESXi等嵌入式操作系统。在XC系列超融合上,该选件有一个专门的用途——系统软件恢复介质,包括CVM在内的管理组件等。它能够快速重置XC系统至出厂镜像状态,只需要10-20分钟的时间。
最后给大家推荐一款新产品——Dell XC超融合家族中的新成员XC430 Xpress。这是专为中等企业规模设计,提供多功能合一的解决方案:原生地整合了服务器、存储与虚拟化,并将基础架构堆叠大幅简化至单一、省空间的平台。只需要3-4个1U节点,就可以为5~500个虚拟机器(VM)提供经过验证的性能和可靠性,让身兼多职的IT人员能更轻松支持所有的基础架构需求。
选择Dell XC430 Xpress,您就能快速开启业界领先体验的超融合之旅。而我在本文中介绍的技术,只是其中一些代表哦
好文章,需要你的鼓励
知名的投资机构ICONIQ Capital发布了《开发者手册:2025年AI现状报告》,基于对300位企业高管的调研,包括CEO、工程负责人、AI负责人和产品负责人等关键决策者,涵盖了从初创公司到十亿美元巨头的各个发展阶段,深度剖析了当下企业AI产品应用的全貌,为我们呈现了一个从"如何构思、交付和规模化AI驱动业务"的完整路线。
中科大团队开发出LongAnimation系统,解决了长动画自动上色中的色彩一致性难题。该系统采用动态全局-局部记忆机制,能够为平均500帧的动画进行稳定上色,性能比现有方法提升35-58%。核心创新包括SketchDiT特征提取器、智能记忆模块和色彩优化机制,可大幅提升动画制作效率。
南开大学团队开发出DepthAnything-AC模型,解决了现有AI距离估算系统在恶劣天气和复杂光照条件下性能下降的问题。通过创新的扰动一致性训练框架和空间距离约束机制,该模型仅用54万张图片就实现了在雨雪、雾霾、夜晚等复杂环境下的稳定距离判断,同时保持正常条件下的优秀性能,为自动驾驶和机器人导航等应用提供了重要技术支撑。