近期,华为云携手峰科计算(以下简称“峰科”)发布基于FPGA的基因加速云解决方案,该方案采用GATK(The Genome Analysis Toolkit)标准分析流程,将全基因组测序(WGS)性能提升5倍,比传统模式提升3~5倍,同时测序精度可达99.95%以上,在大幅缩短测序时间的同时实现TCO大幅降低。
基因测序数据分析加速面临的挑战
首先,基因测序分析流程BWT+GATK当前被业界广泛采纳,但采用此流程的传统测序方法需要消耗高额算力及存储资源,且耗时较长。
其次,针对基因测序中高算力需求的smith-waterman,pair-hmm等算法处理,其具有计算并行性,不连续,非规则的存储访问,低bit操作等特性,计算依赖不规则区域的操作会对CPU消耗很大,性能难以提升。
华为云FPGA基因加速解决方案的三大优势
为了更好的解决基因测序行业面临的基因组分析标准流程不经济高效,以及跨不同云和硬件(CPUs,FPGAs)加速实现的双重挑战。华为云和峰科计算强强联合,合作推出符合行业标准的GATK加速流程,通过对基因测序数据分析流程进行软、硬件联合优化实现端到端加速。华为云FPGA基因加速方案具备如下优势:首先,华为云提供业界领先的FPGA加速云服务平台,采用业界领先的Xilinx 16nm Virtex UltraScale+ VU9P FPGA,并针对基因场景推出32核CPU224GB内存1 VU9P FPGA和64核CPU448GB内存2 VU9P FPGA规格的实例,实现了GATK 软件处理流程和FPGA加速流程的完美结合,从而将加速效率提升3~5倍。
其次,峰科采用GATK标准分析流程,精准性与GATK标准流程完全吻合,精度可达99.95%以上。
第三,不修改GATK标准流程,可访问读取从原始测序数据到生成vcf文件整个过程中的中间数据,便于科研用户使用比对。
华为云FPGA基因加速解决方案集成峰科的加速IP,为用户提供一种易于使用,经济实惠的基于FPGA的基因组分析流程加速服务,在该方案中,华为云配备了32核CPU,单个VU9P FPGA的实例。华为云FPGA基因加速解决方案使用GATK最佳方案对种系突变和体细胞突变进行变异检测,将计算密集型算法如Smith-Waterman、PairHMM等确定为加速对象。每种算法都经过FPGA内核优化,并且实现CPU-FPGA协同执行和资源分配。如图2所示,用户通过分析应用程序,把每个流程的数据传给华为云峰科加速平台,平台里的Kestrel运行时管理工具来管理CPU-FPGA协同执行和资源分配。利用多线程,I / O优化和扩展使用FPGA加速器,华为云FPGA基因加速服务的基因组学分析流程在保证精准度情况下提供显著的加速。
图1 华为云FPGA基因加速方案结构图
与GATK 最佳使用流程相对称,典型的基因测序数据分析流程始于原始FASTQ序列两端读长(paired-end reads),进一步获取一组经过滤的变体,对其进行标记以供进一步分析。图3描述了华为云基因加速服务种系变异调用流水线的具体流程,中间面板指示开始的通常工作流程,上下分别显示华为云FPGA基因加速方案中的峰科加速流程和GATK最佳使用流程命令实现方式的工作流程。
图2 华为云峰科基因加速流程和GATK最佳使用流程对比
基于华为云FPGA加速服务,使用FPGA优化加速GATK流程,基因组分析流程可以实现3~5倍速度提升和99.95%以上的准确度。华为云FPGA基因加速解决方案最快基因组序列分析标准流程可在一天内完成5个全基因组或24个整体外显子组分析。
Performance comparison for GATK 3.8 WGS from Alignment to Variant Calling using Hoplotypecaller
|
Cloud based comparison |
Total(Hrs.) |
Speedup |
|
|
WGS(30X) |
Falcon on Huawei |
7.46 |
4.84x |
|
Original |
36.1 |
1x |
|
注:测试数据使用的是30X的WGS样本,碱基数量103G华为云基因加速服务“0”元体验
为了能让更多的用户体验华为云FPGA加速云服务器,针对基因加速场景,华为云联合峰科(Falcon)推出“基因加速服务0元体验套餐”,套餐规格为32核CPU224GB内存500GB数据盘5M带宽,欢迎各企业登录华为云官网使用。“基因加速0元体验”套餐试用方法如下:
https://bbs.huaweicloud.com/forum/thread-8733-1-1.html
好文章,需要你的鼓励
在技术快速发展的时代,保护关键系统越来越依赖AI、自动化和行为分析。数据显示,2024年95%的数据泄露源于人为错误,64%的网络事件由员工失误造成。虽然先进的网络防御技术不断发展,但人类判断仍是最薄弱环节。网络韧性不仅是技术挑战,更是人员和战略需求。建立真正的韧性需要机器精确性与人类判断力的结合,将信任视为战略基础设施的关键要素,并将网络韧性提升为国家安全的核心组成部分。
南洋理工大学团队开发了Uni-MMMU基准测试,专门评估AI模型的理解与生成协同能力。该基准包含八个精心设计的任务,要求AI像人类一样"边看边想边画"来解决复杂问题。研究发现当前AI模型在这种协同任务上表现不平衡,生成能力是主要瓶颈,但协同工作确实能提升问题解决效果,为开发更智能的AI助手指明了方向。
自计算机诞生以来,人们就担心机器会背叛创造者。近期AI事件包括数据泄露、自主破坏行为和系统追求错误目标,暴露了当前安全控制的弱点。然而这种结果并非不可避免。AI由人类构建,用我们的数据训练,在我们设计的硬件上运行。人类主导权仍是决定因素,责任仍在我们。
360 AI Research团队发布的FG-CLIP 2是一个突破性的双语精细视觉语言对齐模型,能够同时处理中英文并进行精细的图像理解。该模型通过两阶段训练策略和多目标联合优化,在29个数据集的8类任务中均达到最先进性能,特别创新了文本内模态对比损失机制。团队还构建了首个中文多模态评测基准,填补了该领域空白,为智能商务、安防监控、医疗影像等应用开辟新可能。