假期回归上班心神不定？来根定海神针吧！ 原创

长假最后一天晚上，老于辅导五年级的儿子做奥数题。

“还有10道题，做完就去睡觉吧。”他看着埋进书桌里的儿子，轻轻叹了口气：小于一直嚷着放假要去迪斯尼玩，哪想妈妈提前一个月就给他报了十个辅导班，七天里没一天闲着，临开学了，还得补作业，哎，现在的娃娃苦啊……

“爸，我想睡觉。”小于嘟着嘴，一脸苦相。

“乖，做完这些题再睡。”老于轻声哄着。

“太难了，我做不出来。”

“怎么会，你不是比你们班小陈的数学好吗，我昨天听他妈说小陈都写完了，加油，你也可以。”

“爸，你也不看看他脑袋多大，能存多少东西啊，奥数这种大量复杂计算就得要脑袋大的能存东西的，我脑袋小，空间不够，做不来。”

“你……”老于一时语塞，最终在逼着小于继续做题和挨妈妈一顿说之间选择了后者。

哄儿子睡觉之后，老于却睡不着了，最近他心里翻江倒海，一直在为工作上的事担忧，就像儿子说的，他们的项目也卡在存储瓶颈，费尽心血部署的高性能计算没法有效开展。一时不知如何是好。

一直以来，高性能计算HPC的主要目的就是提高运算速度，解决大规模科学计算和海量数据处理的问题。高性能计算每秒万亿次级的强大计算能力，使其成为石油、生物勘探、气象预测、生命科学研究等领域的重要技术选择。

在人工智能AI方面，随着深度学习等理论体系的成熟，先进的算法封装成易于使用的产品和服务应用于实际场景，是推动AI落地的关键。人工智能算法的改进和应用，离不开计算能力和大数据的支撑。

计算能力的飞速发展，对于推动AI技术进步、降低AI应用成本起着不容忽视的作用。过去5-10年间，计算能力的提升，特别是并行计算与GPU计算的有效应用，大大提高了AI算法模型的效率和准确度。当前人工智能普遍采用的神经网络技术，其算法模型训练过程中就需要大量的浮点计算。

数据层面，有统计称，全球90%的数据产生于过去2年中。移动互联网、物联网技术的发展，使数据的来源和类型更为丰富。过去几年也成为AI发展最快的时期。

然而随着数据量和数据价值的不断增长，金融、电信、互联网等领域对高性能计算和AI的需求不断增加。技术在发展，计算系统的处理能力也越来越强，要想实现快速的任务计算处理，高性能计算系统的存储能力是关键。

因为计算开始时，要从存储系统中读取数据；计算结束时，要在存储系统中写入计算后的结果。如果这之间的读取和写入速度不匹配，不仅会拖延高性能项目的完成周期，高延迟还会严重影响高性能创造价值的能力。

通常，高性能计算要求存储系统能够满足性能、可扩展性要求，保护投资回报：吞吐量达到几个甚至几十个GB/s，容量能扩展至PB级甚至更高。

因此，如何满足存储的高并发和高扩展性，以适应高性能运算的需求，是用户目前最关注问题之一。针对这样的存储要求，目前Dell EMC给出的答案是分布式并行文件存储系统，其核心产品为Lustre和Isilon 2个存储解决方案。

Lustre分布式并行存储系统

Lustre是一个面向大规模集群的存储架构，全球超级计算市场Top 100的用户中有70%使用,Intel Enterprise Edition for Lustre是其中一个成熟稳定且不断向前演进的商业版本。针对当前HPC存储市场的需求、并行文件系统技术的发展趋势，Dell EMC在采用领先的服务器、存储、网络产品之余，也和Intel 公司合作，共同推出了Dell Intel Lustre 高性能存储解决方案。

该解决方案智能、丰富且直观的管理界面（即IML,Intel Manager for Lustre ），大大简化了所有硬件和存储系统组件的管理和监控程序。此外，它在容量和性能方面易于扩展的特性，也为未来增长提供了方便。

>>>>

提供高性能的并行文件系统Lustre

Lustre是一种并行文件系统，它通过并行数据访问和分布式锁定功能实现高性能。一个Lustre安装实例由以下三个关键要素组成：元数据子系统、对象存储子系统（数据）以及用来访问和操作数据的计算客户端。

>>>>

元数据子系统

由元数据目标(MDT)、管理目标(MGT)和元数据服务器(MDS)组成。MDT存储文件系统的所有元数据，包括文件名、权限、时间戳和数据对象在对象存储系统中的位置；MGT存储管理数据（如配置信息和注册表）；MDS管理MDT的专用服务器。

>>>>

对象存储子系统

对象存储子系统，由一个或多个对象存储目标(OST)和一个或多个对象存储服务器(OSS)组成。OST存储文件对象数据，OSS则管理一个或多个OST。通常，在任何时候都有多个OSS处于活动状态。

Lustre中，增加OSS会提高现有的网络吞吐量，增加OST会扩大存储容量。下图显示了典型的Lustre配置里MDS、MDT、MGS、OSS和OST组件之间的关系。

Dell EMC Lustre分布式并行文件存储方案具有以下五大特点：

高性能

• 采用基于面向对象的并行文件系统，Intel Enterprise Edition for Lustre
• 采用高性能的Dell EMC服务器产品，配置高性能Intel 处理器和Dell MD3 12Gb SAS 存储产品
• 采用40/56Gb 无阻塞以太网网络
• 设计借助动态存储扩展，每构建块的读取速率和写入速率峰值能分别达到18.5GB/s 、15.1 GB/s

高可靠性

• MDS和OSS采用成对HA配置
• 配置冗余磁盘控制器
• 对磁盘组进行RAID 配置
• Intel 公司原代码级的技术支持服务

易于管理

• 配置单独的管理服务器
• 自动安装
• 图形化界面

多平台支持

• 可以通过CIFS网关提供对CIFS 文件系统的访问，CIFS可以配置集群
• 可以提供IB转以太网网络的网关，支持以太网客户端访问连接IB 的Lustre 文件系统
• 支持Hadoop 大数据文件系统

支持分层存储

通过Dell MD存储设备的Snapshot功能和IELL软件可以实现Lustre文件系统的数据备份归档。

内含Intel EE for Lustre软件的Dell HPC存储设备解决方案，集合了基于并行文件系统的横向扩展存储的所有好处，可充分满足高性能计算需求。

中海油、华大基因、清华大学、百迈客生物科技、中科院自动化所等皆采用了lustre并行文件系统构建自己的专业存储平台。

Isilon分布式并行存储系统

DeLL EMC Isilon 横向扩展存储解决方案专为需要管理数据（而非存储）的企业设计。该存储系统功能强大，安装、管理却很简单，并可扩展至几乎任何大小。Isilon 存储有全闪存、混合或归档节点可供选择，能满足最苛刻的需求。

此外，与传统企业存储不同，无论将来增加多少存储容量、需要多高性能或者业务需求如何变化，Isilon 解决方案都会一如既往地保持简单。

>>>>

Scale-Out架构：

Dell EMC Isilon的Scale-Out设计，使每个节点上的系统都有自己的机头带动控制，任何一个节点宕机，都不会影响其他节点的应用。同时随着节点数量的扩展，Scale-Out架构下的Isilon系统性能也随之提高。

Scale-Out强调灵活的扩展性，与扩展成倍增长的性能。从数十TB 扩展到数十PB，对 Scale-Out来讲非常轻松。3个节点到144个节点的扩展，只需60秒就可以完成，且中间无需停机。正是Scale-Out架构成就了Dell EMC Isilon强大简易的扩展性。

>>>>

OneFS操作系统 ：

Dell EMC Isilon 之所以能够成为Scale-Out架构典范，与它的灵魂软件分不开——OneFS单一文件系统OS。Dell EMC Isilon OneFS 将传统存储体系结构的文件系统、卷管理器和数据保护三层合并为一个统一的软件层，从而构建了一个跨集群中所有节点的单一智能文件系统。

❖ 横向扩展数据湖 

经验证，由于数据量和数据源已大幅扩展，处理现代企业生产和管理的海量数据时，使用传统的信息存储和分析技术既过于昂贵，也过于缓慢。

而使用 Isilon，既可获得高度灵活且高效的存储基础架构，又能将数据湖从边缘扩展到核心和云。通过将大数据资产整合到企业数据湖中，消除效率低下的存储孤岛，各类或传统或新一代的工作负载与应用程序都可有效运行。

❖ 无与伦比的灵活性和性能

变化是不可避免的。正是基于这一考虑，Isilon系统采用了能够简单迅速进行调整的设计。OneFS允许存储系统在需要更多的空间和处理能力时平衡增长或独立增长，并能够根据业务需求轻松扩展存储。

使用 Isilon可扩展性能——从单个机箱250,000次的每秒文件操作数(IOPS)扩展到单个群集高达900万次；

使用Isilon还可扩展吞吐量——从单个机箱15GB/秒(GB/s)扩展到单个Isilon群集540GB/s的聚合读取吞吐量。 

❖ 效率和成本节约 

在OneFS的精密协调下，Isilon群集中所有组件密切配合以创建统一的高效存储池，其中存储利用率超过80%。通过Isilon SmartDedupe的重复数据消除功能，可将跨多个源的冗余数据环境中的数据存储需求进一步降低35%。

Isilon存储系统无与伦比的高效率意味着：容纳相同数据量所需的物理存储和空间更小，可有效降低初始开支和后续成本。而且，利用Isilon AutoBalance，能轻松快速添加节点，而没有宕机、手动数据迁移或应用程序逻辑重新配置的问题，从而节省宝贵的IT资源。此外，Isilon存储非常便于管理，相应地存储管理所需的IT资源比传统存储系统更少，又能进一步降低总体运营成本。 

❖ 简单的互操作性 

用户可以利用Isilon精简存储基础架构，整合大规模文件和非结构化数据资产，消除存储思洛。

Isilon横向扩展NAS集成了对多种行业标准协议的支持，包括Internet协议IPv4和IPv6、NFS、SMB、HTTP、FTP以及基于OpenStack Swift的对象访问，以支撑云计划和本机Hadoop分布式文件系统(HDFS)，由此可以简化工作流、加快业务分析速度、支持云基础架构计划并从企业应用程序和数据中获取更多价值。

优秀的性能表现、与时俱进的闪存技术、良好的数据保护策略，Scale-Out架构下OneFS智能文件系统，为Dell EMC Isilon奠定了完善的平台基础，将全闪存、混合存储、归档存储上的产品全面组合到一起。

之前中国石化、中国石油和中国海油等企业早已成为Dell EMC Isilon的用户，下一步Dell EMC Isilon会继续依靠大数据发展的大趋势，将集群存储产品与方案打进更多领域，比如对高性能运算有需求的地质、地震数据处理和钻井开发等。

Dell EMC相信，Lustre和Isilon分布式并行文件存储，必将成为HPC和AI领域的定海神针。