前段时间
2019年胡润百富榜发布
我一如既往地没有上榜
对着名单酸了几分钟
就默默滚去搬砖
一夜暴富可能很难实现了
还是多拉几个单子比较实在
这两天刷朋友圈,我发现以前合作过的客户张总监不太开心,似乎工作上遇到了什么困难,我先跟他聊聊,没准能拿下一单。
“张总,最近过得咋样?这两年高性能计算大火,您这位算法大咖的身价都涨几倍了吧?”
我:“张总,别着急,可能是基础架构出了问题,待我们详细了解下您的架构分析系统使用现状,再看看有什么解决办法。”
近年来,随着高性能计算(HPC)成为主流,越来越多的研究人员和工程师能够以前所未有的速度实现创新,传感器、卫星、高性能计算机模拟、高吞吐量设备和医学成像等产生的大量信息,正在将数据存储库推向不可思议的量级,同时,围绕性能和容量的数据要求也在迅速增加。
由于存储输入/输出(I/O)功能通常落后于数据处理能力,因此存储组件可能成为HPC的主要瓶颈。另外,管理和监控这些复杂的存储系统也会显著增加存储管理员和研究人员的负担。
理想情况下,HPC存储系统应具备大容量、高度可扩展、高速的性能,且不会对内部IT专业知识或数据中心预算造成压力。但是,提升支持HPC存储系统的吞吐量和可扩展性可能需要大量的规划和配置,此外,与多家供应商合作以获取、部署和支持HPC存储系统既困难又耗时。
而戴尔易安信提供的适用于HPC的存储就绪解决方案,不仅能根据用户特定需求灵活定制,而且经过预配置、测试和验证,可让用户以更低的风险在更短的时间内轻松部署大容量存储系统,同时为更高价值的活动保留资源和预算。
此外,随着计算需求增长,用户还可以轻松快速地扩展存储容量。另有随附的戴尔易安信Pro-Support服务,可通过单一支持源帮助用户预防和解决潜在的软硬件问题。
1
适用于HPC NFS存储的
Dell EMC Ready解决方案
基于NFS协议的存储解决方案广泛适用于HPC集群,因为NFS简单且经过时间考验,几乎是每个Linux发行版中的标准软件包。
对于I/O需求较低的应用程序集群,NFS存储可靠、易于管理且在某些边界内具有出色性能;而在更高I/O要求的群集中,NFS是用于主目录、应用程序存储,以及辅助存储库(用于应用程序数据长期存储)的良好选择。
适用于HPC NFS存储的Dell EMC Ready解决方案 | |
---|---|
Server |
2x PowerEdge R740 Servers |
Processor |
Dual Intel® Xeon® Gold 6136, 3 0GHz, 12 cores per processor |
Network connectivity |
Choice of: |
•Dell EMC H-Series based on the Intel Omni-Path Architecture |
|
•Mellanox® InfiniBand® EDR |
|
Memory |
12x 16GiB 2666 MT/s RDIMM per server |
Local disks and RAID controller |
PowerEdge RAID (PERC) H730P with 5x 300GB 15K SAS |
hard drives |
|
External storage controller |
2x12Gbps SAS HBAs per server |
Storage system |
1x PowerVault ME4084 |
840TB of raw storage capacity 84x 10TB 7..2K NL SAS hard disk drives |
|
Systems management |
Integrated Dell Remote Access Controller 9 (iDRAC9) Enterprise |
OpenManage Server Administrator |
|
Operating system |
Red Hat® Enterprise Linux (RHEL 7 5) x86_64 |
Cluster suite |
Red Hat Cluster Suite from RHEL 7 5 |
File system |
Red Hat Scalable File System (XFS) v4 5 0-15 |
适用于HPC NFS存储的Dell EMC Ready解决方案示意图
解决方案优势:
01
低成本
戴尔易安信服务器、存储和网络采用成本优化的行业标准,降低了存储和处理大型HPC数据集的成本;
该解决方案经过戴尔易安信的预配置、调优和测试,可缩短用户的安装时间,降低了规划和部署HPC存储的成本;
此外,几乎所有Linux®发行版都提供经济高效的网络文件系统(NFS)存储,它易于配置,部署和维护,可降低运营成本。
02
高性能
针对HPC NFS存储的Dell EMC Ready解决方案对吞吐量性能进行了调整,最大随机写入性能高达6.5KIOPS,最大随机读取性能高达18.7KIOPS。
03
可扩展
通过在受支持的单个命名空间中轻松扩展多达64个节点和480TB原始容量的能力,可以更轻松地满足未来需求,从而以更快的吞吐量运行更大、更复杂的应用程序。
2
适用于HPC Lustre存储的
Dell EMC Ready解决方案
今天的HPC工作负载需要无限扩展的存储基础架构,并提供极其高效的I/O级别。因此,Lustre解决方案部署起来既复杂又耗时。
而适用于HPC Lustre存储的Dell EMCReady解决方案,允许用户在不损失性能或容量的情况下高效扩展以适应工作负载需求,不仅符合成本优化的行业标准,而且简化了安装、配置和管理的流程。
适用于HPC Lustre存储的Dell EMC Ready解决方案 | |
---|---|
Servers |
Management server (IML): 1x PowerEdge R640 Server Lustre Metadata servers (MDS): 2x PowerEdge |
Processor |
IML: 2x Intel Xeon Gold 5118 @ 2 3GHz, 12 cores per processor |
Network connectivity |
Choice of: |
Memory |
IML: 12x 8GiB 2666 MT/s RDIMMs per server |
Local disks and RAID controller |
IML: PERC H740P Integrated RAID, 8GB NV cache, |
Software |
Lustre Community Edition v2 10 4 Whamcloud |
Systems management |
iDRAC9 Enterprise |
Operating system |
CentOS™ 7 5 x86_64 RHEL 7 5 x86_64 |
OST storage array |
4x PowerVault ME4084 with 336x 3 5" 8TB 7 2K RPM NL SAS |
MDT storage array |
1x PowerVault ME4024 with 24 - 960GB SAS SSDs |
External storage controllers |
OST: 4x SAS 12Gbps Dell HBA MDS: 2x SAS 12Gbps Dell HBA |
适用于HPC Lustre存储的Dell EMC Ready解决方案示意图
解决方案优势:
01
高性能
适用于HPC Lustre Storage的戴尔易安信解决方案,能够以超过1PB的持续容量更快地运行更大、更复杂的应用程序。客户还可以选择Mellanox InfiniBand EDR或Intel Omni-Path,用于高速、低延迟存储事务。
Mellanox InfiniBand EDR:峰值写入性能为15GB/s;对于顺序操作,峰值读取性能为18.5GB/s。峰值随机写入性能为17.5K IOPS,在256个线程上达到45K IOPS,用于随机读取。
02
可大规模扩展
适用于HPC Lustre Storage的戴尔易安信解决方案为每个对象存储服务器(OSS)提供960TB的原始存储,可高效扩展来适应工作负载要求,而且不会降低性能。
用户可以从小规模起步,扩展到数万甚至更多容量,扩展将同时增加总网络吞吐量和存储容量——这允许增加可用存储量,同时保持一致的最大网络吞吐量。
03
高性价比
简化的扩展解决方案,使用户在一定预算内获得更高的系统性能,并保护IT投资。戴尔易安信已经创建了经过测试与验证的解决方案,使用户可以专注于业务或研究目标,从而获得出色的投资回报。
跟张总监聊完以后,我第二天便来到了他们公司。搜集现状后发现服务器品牌繁多,各品牌跨CPU代数现状较为普遍,而且大量数据都放在大容量磁盘服务器上,并没有统一的存储,一发生掉盘,就要花费大量时间用于数据重组,严重影响性能,导致业务部门经常抱怨。
经过分析,我给张总监推荐了适用于HPC Lustre存储的Dell EMC Ready解决方案,用于改造基础架构,以最大限度地保护该公司现有投资。
一 个 月 后
“小郑啊,真的太感谢你了。用了你们戴尔易安信的解决方案以后,项目进展得非常顺利,也证明我的算法是没有问题的。哈哈,这下我可在公司扬眉吐气了!”张总监电话里掩不住的兴奋。
“张总,别客气,像您这种大咖真的不应该浪费时间在基础架构上,以后这种活都交给我们!”
好文章,需要你的鼓励
他认为,AI的发展和影响被普遍低估,它所带来的变革将远超目前人们的认知,AI的进展速度异常迅猛,每次的技术飞跃都比人们预期的
GPU应用已深刻影响各类业务(搜广推、音视频、MMU、风控等)场景,快手内部GPU在线服务及离线训练任务均完成云原生化迁移。
目前华为 Mate X6 折叠屏手机仍然按照华为近年来的宣传管理,官方并没有就具体配置方案进行大张旗鼓的宣发,配置爆料信息也同样较