阿里云存储的跃迁：从软件定义到云定义 原创

今年是“十四五”开局之年，全国各地都在大力布局发展数字经济。作为推动数字经济的重要手段，传统企业的数字化转型也将进入快车道，众多企业纷纷选择“上云用数赋智”作为数字化转型的标准路径。在这条转型路径中，数据上云是关键，而数据上云首先要做的就是解决存储问题。

实际上，对于传统IT基础设施三大件（计算、存储、网络）之一的存储也正是当下不少企业数字化转型过程中的一个痛点，主要体现在以下几个方面：数据量的增长推高了存储和灾难恢复的成本；如何既面向未来同时也兼顾历史，让原本复杂的IT架构更加复杂，加大了运维难度和成本。如何破解这些难题困扰着不少企业管理者。

9月底，阿里云对外宣布对云存储服务进行全面升级，包括性能大幅提升3倍、时延降低70%的ESSD云盘，可兼容HDFS的数据湖存储OSS，同时推出一款全新产品“云定义存储”（Cloud Defined Storage，CDS）。这些发布直指企业面临的存储痛点，有助于帮助企业破解这些难题，加快企业上云进程，让企业充分享受云计算的红利。而就存储行业而言，阿里云的这些发布加速了存储技术的演进，让人们再次感受到云计算对传统IT基础设施的颠覆，也让我们更坚定地拥抱云计算。

ESSD云盘:更高性能，更稳定，更多企业特性

云计算发展到今天，云盘作为一项基础服务已经被广泛认可，市场同类服务并不少，阿里云ESSD云盘无疑是其中的佼佼者。阿里云的ESSD云盘拥有极高的I/O性能和稳定低时延能力，适用于数据密集型业务上云场景，比如数据库应用。如今已经拥有超过20万付费用户。

ESSD优异的性能得益于阿里云的多项技术自研，底层架构基于自研大规模分布式存储系统盘古2.0，存储芯片采用自研Aliflash SSD，并且依托自研网络协议 Luna和增强型RDMA数据传输协议，结合自研HPCC流控算法，深度优化TCP，大幅降低计算资源消耗及响应延时，使ESSD的数据传输效率可提高50%。

阿里云ESSD云盘的产生可以追溯到2016年，这一年正式立项进行ESSD云盘研究；2017年开始有了产品，并在阿里集团内部使用，用于支持当年的“双十一”；2018年，阿里云正式推出ESSD云盘服务——业内首个跨入IOPS百万时代的云盘。此后阿里云一直在持续打磨产品和技术能力，不断更新和升级。

阿里云此次发布的ESSD云盘已经属第三代，具体包括两款新品：ESSD PL-X、ESSD Auto PL，有不少技术突破。比如，此次发布的ESSD PL-X IOPS最高可达300万，单路访问延迟低至30微秒，是云上性能最强块存储产品之一，不仅适用于性能敏感型的关系型数据库场景（如Oracle数据库），也适用于性能要求较高的企业级应用（如SAP ERP系统）。

ESSD Auto PL则将云盘容量和性能解耦，为客户提供性能无感升级能力，是业内首个支持性能预配置并按业务峰值自动提升性能的企业级块存储云产品。它能够毫秒级感应企业需求变动，在业务洪峰时无感知进行性能升级，在业务需求回落时分钟级自动降配。

阿里云基础产品资深产品总监陈起鲲介绍，第三代ESSD云盘从三个维度对ESSD云盘进行了升级，使其具有了更多企业级特性，从而能满足企业非常苛刻的业务需求，让过去难以上云的一些传统核心业务系统，比如Oracle RAC数据库、SAP ERP系统也能平滑上云。

第一个升级是共享能力。众所周知，在不少传统企业中部署有Oracle数据库、SAP HANA等应用，它们一般是基于传统架构部署，并不能简单地搬到云上，原因之一就是它们采用了共享存储架构。而阿里云新一代ESSD在其高可靠、高可用、高性能的基础上实现了共享访问和IO Fencing能力，兼容线下应用高可用架构（如Oracle RAC、SAP HANA等），使企业无需改造应用架构，即可将关键业务系统平迁/搬迁上云。

第二个升级是支持专属集群，允许云上单租户。有些行业对上云有比较严格的行业监管政策，比如要求单租户、与其他客户隔离，针对这些需求，阿里云推出了“专属块存储集群”ESSD，能为客户提供物理资源隔离能力，帮助企业构建在云上专属的IT基础设施。

第三个升级是跨地域异步复制。企业的传统容灾方案有较高的门槛，比如需要自建/租用容灾中心、购买专线，且一次性投入成本较高。借助ESSD新增的“云盘异步复制”功能，可以在不同的可用区和地域之间实现数据的异步复制，几乎“零”门槛实现异地容灾、分钟级RPO（恢复点目标），大幅降低容灾系统建设的门槛，让更多客户在云上轻松实现异地数据级灾备建设。

实现这几个升级并不容易。阿里云智能研究员满弓介绍，要让云盘能根据负载变化 自动进行性能伸缩，面临较大的技术挑战。比如，要能快速感知I/O的变化，阿里云现在可以做到10毫秒内感知I/O变化，秒级资源重新配置，来实现对客户业务负载变化的快速响应。

另外，云盘性能的弹性伸缩不仅仅涉及到一个云盘，它通常是作为整个分布式系统中的一部分，在系统中可能会有上千块云盘，当用户负载发生变化，所有的云盘性能都会升高，有可能会超过单集群性能的水平。此时，就要对整个集群进行多维的实时预测和监控，并能通过多集群分钟级的打散来平滑分担用户的流量，当前阿里云可以在分钟级实现跨集群的水位均衡。

数据湖3.0：大数据与AI一体化

这几年，随着数据价值被越来越多企业认可，数据湖的建设备受关注。数据湖中的数据主要来自于传统关系型数据库中的结构化数据，大数据、AI平台的半结构化和非结构化数据。随着大数据和AI应用的普及，后两类数据占比越来越大，而且大数据和AI开始逐渐融合。然而，大数据主要是HDFS生态，而AI应用主要对象存储生态，这两者有不同的语义，统一起来并不容易。

陈起鲲介绍，早期的数据湖虽然采用了存算分离，但AI应用和大数据应用的数据是分开的，阿里云称其为数据湖1.0。后来在技术的进步和用户需求的双重推动下，这两者开始融合，进入数据湖2.0阶段。此时数据都存储到对象存储里，但是大数据应用的元数据仍然保存在HDFS中。

阿里云发布的对象存储OSS属于数据湖3.0技术，其在2.0基础上又向前走了一步，彻底打通了AI和大数据应用，实现了百分百兼容HDFS语义以及全服务化，数据和元数据统一保存到对象存储中，实现了高性能AI计算与大数据分析的融合。这样，同一套数据既可以进行大数据建模，同样也可以用于AI训练，大大提高了效率，也节约了成本。

另外，阿里云的OSS在数据安全合规和个人隐私保护方面还做了不少工作，而且这些产品能力是原生与对象存储是融合的。

据悉，为了充分满足客户需求，阿里云在此前已有的标准型OSS、低频型OSS和归档型OSS的基础上，此次新增了冷归档型OSS，用户可以根据文件创造的时间和更新的热度来配置对数据进行全生命周期管理，支持所有存储类型沉降至冷归档，降本最高达 90%。

截至目前，阿里云上已经有6000多个数据湖，它们借助阿里云OSS的一份数据、多份数据引擎、多个计算能力构建起了自己的数据分析能力。

云定义存储：将云存储带到线下

尽管云计算普及势不可挡，但并不是所有企业所有业务都能上云的。对于这部分企业，是不是就不能享受阿里云存储技术的这些创新红利了？答案当然是否定的。

阿里云正在改变这一现状。阿里云发布了“云定义存储”（Cloud Defined Storage，CDS）产品，作为一款支持本地部署的分布式存储产品，阿里云CDS拥有与公共云存储相同的技术架构，让企业客户在本地也能部署和使用与公共云一致的存储产品。

阿里云CDS最小起建规模低至9节点，最大可扩展至12万节点，几乎拥有无限横向扩展能力。值得一提的是，得益于盘古2.0极佳的扩展性与兼容性，阿里云CDS支持“一云多芯”，可在Intel、海光、鲲鹏、飞腾等硬件平台上提供一致的产品功能与服务能力。

阿里云CDS除了具有与阿里云公共云一致的产品能力，还原生支持多租户架构以及自服务能力，提供租户身份识别与细粒度资源鉴权能力，既支持租户之间共享资源，又做到了各服务间的资源隔离，保障了企业数据安全。

CDS基于盘古分布式存储底座，把阿里云存储的一致体验覆盖到客户多样化的部署场景。其中，“盘古”作为数据存储统一底座，支撑了阿里巴巴所有数据存储业务，得到了规模化应用，解决了超大规模下数据不丢、不错和高可用的难题，让存储更加稳定可靠、拥有更大的容量和更高的性能，满足数字经济时代对海量存储和快速存储的需求。在刚刚过去的世界互联网大会上，阿里云“盘古”得以入选世界互联网领先科技成果，这也是第一次有存储技术在这个会上获奖。

据了解，基于阿里云分布式存储系统“盘古2.0”构建的阿里云CDS，最大IOPS最高可达百亿，云盘时延低至百微秒，可支撑数十EB级别存储规模，单bucket支持万亿级文件数，同时具有金融级的数据容灾能力。

这款阿里云所说的“云定义存储”产品与传统的“软件定义存储”不同。陈起鲲介绍，“云定义存储”本质上就是服务定义存储，是一种以服务上层应用、服务多租户共享、服务规模化部署而设计的产品，是真正的云时代存储。

以服务定义存储、与公共云一致的技术架构、经过大规模多样化IO压力验证的产品能力，可以说，阿里云今天推动了存储行业技术革新的一大步。这得益于一个独特的练兵场——历年的“双11”的锤炼，打造了阿里云满足大规模业务场景超高要求的技术竞争力和产品差异化能力，帮助阿里云存储不断精进存储技术和产品的打磨，为客户创造更多价值。

根据IDC的预测，今年全球数字经济规模将占整体经济的50%，而中国的数字经济规模将达到8.5万亿美元，占中国总体经济规模的55%左右。数字化转型是数字经济的动能和引擎，在这场数字化转型大潮中，云存储将和其他云服务一起迎来大的发展机遇，阿里云和其他同行一起正在推动云存储技术的不断进步，而对于正在进行数字化转型的企业而言，新技术也是一个发展契机，谁先拥抱它们，谁就率先受益，在市场上赢得更多的竞争优势。