从病毒研究谈起，聊聊冷冻电镜及背后的HPC

了解更多数字化转型方案查看此链接：

https://www.dellemc-solution.com/home/index.html

今日tips

婴幼儿能不能戴口罩？

通常来讲，1-2岁的婴幼儿不能戴口罩。N95口罩透气度较差，不适合孩子使用。对于儿童，推荐佩戴儿童专用的防护口罩，且家长需随时注意孩子有无呼吸困难等不适情况。

 

——来自@人民日报

抛开疫情不谈

我们来聊聊

这次疫情的始作俑者——病毒 

科学家们是如何研究病毒的

关于病毒，这是一类没有细胞结构的简单的特殊生物，它们的结构基本相似，一般由蛋白质的外壳和内部的遗传物质（核酸）组成。

 

对于一种新的病毒，我们只有去发现它、了解它、研究它，最终才能制造出能治愈患者的药物，以及增强人体免疫的疫苗。

那么一般而言，对病毒的研究一般都有如下内容和方法：

• 病毒培养：在病毒学研究中除用做病毒增殖、病原分离以外，还用于研究病毒的复制过程及细胞的病理变化，研究病毒与宿主的互作关系，探讨抗体与抗病毒物质对病毒的作用方式与机制等。还可用于病毒的分离鉴定、抗原的制备、疫苗和干扰素的生产、病毒性疾病诊断和流行病学调查等。
• 病毒的分离纯化与测定：属于病毒学研究的基本技术。通过病毒的分离纯化，可获得纯化的、有感染性的病毒制备物。通过病毒测定可确定病毒数量及活性。病毒的分离是将疑有病毒而待分离的标本经处理后，接种于相应敏感的宿主、鸡胚或感染细胞，培养一段时间后，通过检查不同病毒的特异性表现确定病毒的存在，并对病毒进行提取和纯化。
• 病毒的鉴定：利用形态学、物理学、化学、生物学、免疫学、分子生物学、生物信息学等鉴定病毒的性质，描述病毒的特征，是病毒分类的前提。病毒鉴定也是诊断病毒性疾病的可靠方法。

病毒如何观察？

针对病毒做结构研究，就少不了在微观世界对病毒本身进行观察和成像。目前，电子显微三维重构（electroneicroscopy，也称电镜三维重构）、X射线晶体学(X-ray crystallography)、核磁共振波谱学(nuclearmagnetic resonance，NMR)是结构生物学的三大研究手段。

 

不过后两种技术都有各自的局限性，比如X线晶体学只能对生长极为有序的三维结晶进行观察，而磁共振技术则要求测样品颗粒小，纯度非常高，不能够有重叠峰出现。而冷冻电子显微镜，简称冷冻电镜(cryo-electron microscopy，cryo-EM)，已成为生物大分子的结构研究的重要手段，这项技术极大地推动了生物学的发展。

  

什么是冷冻电镜？

冷冻电镜是将生物大分子快速冷冻后，在低温环境下利用透射电子显微镜对样品进行成像，再经图像处理和重构计算获得样品的三维结构。

 

目前，冷冻电镜三维重构技术由冷低温制样、低剂量电镜成像和计算机图像处理三部分组成。

随着冷冻电子显微镜的自动化、分辨率、直接电子探测技术以及高性能图像处理技术的大幅提高，越来越适合分析大的难以形成三维晶体复合体的三维结构，如膜蛋白以及病毒和蛋白质-核酸复合物等。

 

? 简而言之：首先利用冷冻电镜对冷冻于液氮温度的生物大分子颗粒进行成像，以获得数万到数百万张生物大分子照片，然后通过一定的算法来整合这些图像，计算出生物大分子的三维结构。这其中三维重构算法是核心内容，用于测定出每一张照片的诸多参数。

 

它的基本原理基于中央截面定理：三维物体沿电子束方向投影的傅里叶变换是该物体所对应的傅里叶空间中通过中心且垂直于投影方向的一个截面。那么一个物体完备投影的二维傅里叶变换一定能够完全填充该物体的三维傅里叶空间，因此物体的完备投影与物体的三维结构是等价的。

所以在实际应用中，我们收集到海量的全同颗粒在不同方向的投影（单颗粒），首先通过等价线、投影匹配等方法确定每张投影图像的取向和中心，然后对每张投影图进行傅里叶变换，按照投影方向填充到三维傅里叶空间对应的切面，并进行差值计算得到倒空间的网格点数值，最后再进行反傅里叶变换，就可得到实空间的三维结构。

冷冻电镜的三维重构流程

 

可以看到在整个流程中，数据采集、图像处理、三维重构是非常核心的三个步骤，对计算和存储的需求非常高，以下是部分颗粒挑选、图片处理和三维重构的软件程序：

用途	名称	描述说明	支持GPU	官方网址
自动化颗粒挑选	Leginon	从透射电子显微镜自动收集图像。支持的仪器：FEI（Tecnai、Titan Krios、Polara）、JEOL（3200、3100、2100、1230）、CCD（TVIPS、Gatan、FEI）、直接探测器（Gatan K2、FEI Falcon、直接电子DE12、DE20）	单GPU 单节点	http://nramm.nysbc.org/software/
图像处理流水线	Appion	处理和分析电磁图像的“管道”。Appion与Leginon数据采集集成，但也可以在使用一组提供的工具上传图像（数字或扫描显微照片）后单独使用。 底层包集成包含EMAN, Spider, Frealign, Imagic, XMIPP, IMOD, ProTomo, ACE, CTFFind等并行重构程序	单GPU 单节点	http://nramm.nysbc.org/software/
三维重构	RELION	（for REgularised LIkelihood OptimisatioN）是一个独立的计算机程序，它采用经验贝叶斯方法对冷冻电镜（cryo-EM）中的（多个）三维重建或二维类平均值进行求解。在相应的贝叶斯框架中，统计模型的许多参数都是从数据中获得的，所以可以在不需要用户有丰富专业知识的情况下获得客观和高质量的结果。	多GPU 单节点	https://www3.mrc-lmb.cam.ac.uk/relion/
三维重构	cryoSPARC	CryoSPARC是全球范围内用于从单颗粒冷冻电镜数据获得三维结构信息的先进平台，结合最先进的算法和高性能计算机平台，实现了蛋白质、病毒和分子复合物的自动化、高质量和高通量结构发现，用于研究和药物发现。	多GPU 多节点	https://cryosparc.com/

 

许多电镜三维重构程序目前是实现的任务级别的并行，如BSOFT、FREALIGN、IMOD和PRIISM/IVE等。而AUTO3DEM、IMAGIC、UCSFTOMOgraphy等则完全采用了MPI并行方式。著名的单颗粒三维重构软件EMAN目前所有的并行手段都已经实现，SPIDER和IMIRS程序则采用了OpenMP和MPI并行方式，但SPIDER保留了任务级的并行方式，而IMIRS程序没有。XMIPP则采用了MPI和pthreads方式。

通过上面的分析，可以发现冷冻电镜三维重构的高性能计算IT需求归纳为以下几部分：

• 主要为浮点计算，其中有大量的单精度或双精度快速傅里叶（FFT）计算。
• 软件内存需求和I/O需求大，一般都需要配置并行文件系统。

针对傅里叶（FFT）计算，目前主流大量采用nVidia GPU是行业惯例，nVidia CUDA为开发人员提供了多种库，其中cuFFT库则是CUDA中专门用于进行傅里叶变换的函数库。“cuFFT”全称是CUDAFast Fourier Transform，顾名思义，它提供了一系列的函数帮助开发者进行快速傅里叶变换的运算。

 

cuFFT库由两个子库构成，它们分别是CUFFT和CUFFTW。CUFFTW库是一个移植工具（portingtool），它为用户提供了一些接口，以使得用户使用FFTW库（一个非常流行的CPU快速傅里叶变换库）编写的程序能够运行在CUDAGPU上。而CUFFT则是纯CUDA接口的快速傅里叶变换库。

针对高性能计算文件系统，业界解决方案有很多：Lustre、BeeGFS、分布式横向扩展NAS等等。

病毒研究也是对

计算和存储能力的大考

戴尔科技集团是世界500强的IT解决方案企业，多年以来在高性能计算HPC领域有深厚的沉淀，在国内很多高校生命科学院也成功实施部署了规模不等的冷冻电镜HPC平台，例如包括清华大学生命科学与技术学院、北京大学生命科学联合中心、西湖大学生命科学学院、哈尔滨工业大学生命科学与技术学院等，在该领域有丰富的规划设计及部署实施经验。

 

前面提到过由于冷冻电镜三维重构过程中，需要大量的快速傅里叶FFT计算，所以需要海量GPU算力资源来支持，戴尔科技生命科学类HPC解决方案推荐了多款GPU服务器设备满足该需求。

服务器型号	支持CPU的数量及型号	支持GPU的数量及型号	服务器外形高度
R740/R740xd	2颗Intel®至强®第二代可扩展系列处理器	3块双宽度GPU(如nVidia Tesla V100) 或6块单宽度GPU(如nVidia Tesla T4)	2U高度机架式
R7515	1颗AMD 第二代EPYC处理器	4块单宽度GPU(如nVidia Tesla T4)	2U高度机架式
R6515	1颗AMD 第二代EPYC处理器	2块单宽度GPU(如nVidia Tesla T4)	1U高度机架式
R6525	2颗AMD 第二代EPYC处理器	2块单宽度GPU(如nVidia Tesla T4)	1U高度机架式
R840	4颗Intel®至强®第二代可扩展系列处理器	2块双宽度GPU(如nVidia Tesla V100) 或4块单宽度GPU(如nVidia Tesla T4)	2U高度机架式
R940xa	4颗Intel®至强®第二代可扩展系列处理器	4块双宽度GPU(如nVidia Tesla V100) 或8块单宽度GPU(如nVidia Tesla T4)	4U高度机架式
T640	2颗Intel®至强®第二代可扩展系列处理器	4块双宽度GPU(如nVidia Tesla V100) 或8块单宽度GPU(如nVidia Tesla T4)	塔式或5U高度机架式
C4140	2颗Intel®至强®第二代可扩展系列处理器	4块双宽度GPU(如nVidia Tesla V100)	1U高度机架式
DSS8440	2颗Intel®至强®第二代可扩展系列处理器	10块双宽度GPU(如nVidia Tesla V100)	4U高度机架式

 

特别需要提到的是C4140这款服务器，1U高度可以安装4块双宽度GPU(如nVidia Tesla V100)，且支持NVLink或PCI-E两种架构方式可选，用于不同的应用业务场景，同时节省机柜占用空间。

 

▲戴尔易安信PowerEdgeC4140

不管是生命科学类超算应用，还是校级超算平台综合性应用，近年来在国内多所知名高校都有成功部署案例如北京大学、武汉大学等等。

 

说到HPC集群，除了需要强大的计算资源以外，还离不开存储资源。

总的来说冷冻电镜HPC集群对存储I/O性能和容量要求较高，原因如下：

• 电镜投影图片数量和尺寸不断增加（4K × 4K, 8K × 8K）；
• 生成三维重构文件巨大（GB-TB）；
• 若要达到满意结果需要迭代计算几十次甚至更多。

比如说上海科技大学免疫化学研究所饶子和院士（新闻原文：https://new.qq.com/rain/a/20191018A08PWT）所率领的联合团队通过冷冻电镜累计获得了7万余张合计超过100TB的高质量照片，完整病毒颗粒接近6万5千颗，最终解析了非洲猪瘟病毒全颗粒的三维结构。这些巨大的数据量对背后的超算系统都是不小的挑战。

 

而在存储领域，戴尔科技集团亦有深厚的技术积累，并且经过多年的市场考验，长期在IDC全球外部存储设备市场排名第一，积累了优秀的口碑。其针对HPC应用领域，提供了如下多种存储方案供选择。既保证性能/容量要求，又提供更多功能选择供未来扩展业务应用，并且考虑到客户的投资回报。

 

高性能计算HPC集群项目，涉及产品众多，技术复杂，一般还会涉及大量的开源操作系统/开源应用软件等，其实施部署复杂，而售后处理会涉及到多方面多供应商。戴尔科技集团为此推出了“适用于HPC的ProSupport附加服务”，提供了比ProSupport及ProSupportPlus基于设备本身售后服务更高级别的支持。

 

对客户IT管理层来说，“适用于HPC的ProSupport附加服务”带来了如下的好处：

• 具有完整硬件和服务组合的单一提供商：全部由戴尔科技集团来作为售后服务唯一接口人
• 有更多时间关注业务目标
• 管理群集的成本降低

同时也给客户HPC系统管理员带来了好处：

• 增强部署/支持生命周期体验
• 标准化服务确保预期结果
• 更快地解决问题
• 获得高级疑难解答与协助：就功能、特性、群集配置问题、固件版本、互操作性和 HPC 一般“入门”问题提供建议；根据在部署期间运行的性能基准测试所建立的预先记录级别，帮助解决群集性能退化问题；协助解决您 HPC 环境特有的关键支持问题。

 

作者说明：本文涉及到一些生命科学等专业的知识内容，作者是查阅互联网公开资料总结整理而成，由于时间仓促，在文字内容上恐有瑕疵或错误，恳请读者专家们给出意见和建议，谢谢！

相关内容推荐：虚机误删，"至暗时刻"来临...

相关产品：PowerEdge C4140服务器