5月20-22日, 在以“数字转型、架构重塑”为主题的第十三届中国系统架构师大会(SACC2021)上,华为云NoSQL数据库架构师分享了GaussDB(for Redis)的存算分离架构设计理念以及构筑的产品核心竞争力,以创新技术构建业务敏捷性,驱动企业数字化转型。
Redis作为业界最受欢迎的NoSQL数据库之一,在性能、数据结构多样性等方面具备优势。但随着企业数字化进程加快,开源Redis在AOF膨胀、快照性能、主从脱节、高成本、低容量等方面的劣势愈发明显,这也进一步催生了Redis生态的技术革新。
GaussDB(for Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。
在GaussDB(for Redis)计算存储分离架构模型下,计算层提供了热数据缓存,存储层负责将全量数据落盘。内部通过RDMA高速网络互连,通过算法预测用户访问规律,实现数据的自动冷热交换,最终达到极致的性能提升。
该架构底层核心部分是基于华为内部强大且广泛使用的自研分布式存储系统DFV,实现了一套Share Everything的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的优势,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%、大key阻塞、gossip集群管理等问题。
基于该架构,GaussDB(for Redis)构筑了强一致、高可用、冷热分离、弹性伸缩、高性能等五大极具竞争力的能力优势。
强一致。数据复制是存储的事情,因此专业的事情交给专业的团队来做。通过分布式存储DFV,GaussDB(for Redis)轻松实现了3副本强一致,并可轻松支持6副本,为业界首创。在强一致架构下,用户再也不用担心开源Redis的主从堆积带来的丢数据、不一致、OOM等极端问题,更不用担心业务出错,比如计数器、限流器、访问统计、hash字段等不一致。
高可用。开源Redis的单分片和集群,其数据复制都采用主从架构,导致N个节点的集群,如果同时挂掉一对主从(即2个节点),整个集群就不可用。而GaussDB(for Redis)采用存算分离之后,每个计算节点都可以看到并共享所有数据。因此对于N个节点的实例,最多可以容忍N-1个节点异常,真正做到了超高可用性。
冷热分离。为充分发挥数据价值,GaussDB(for Redis)实行冷热数据分离,热数据放在内存,冷数据放在磁盘,同时自动LRU淘汰冷数据,实时预测算法加载热数据。这样既使得冷热数据一致性强,交互逻辑又简单,对业务友好。
弹性伸缩。数据量膨胀到一定规模后,扩容往往被认为是个高危且困难的操作。GaussDB(for Redis)基于云原生架构,将计算资源和存储资源的扩容解耦。计算层扩容,无需任何数据搬迁,只需修改路由映射,即可秒级完成。存储层是个共建的超级数据湖,其容量巨大,拥有极佳的动态扩容能力。此外,基于64MB细粒度数据分区,整个扩容过程,对上层数据库业务几乎无感。因此GaussDB(for Redis)可以轻松支撑业务后期的大规模膨胀,并且真正做到计算/存储分层的按需扩容和购买。
高性能。受益于多点读写,并且不存在备节点浪费资源,GaussDB(for Redis)在性能比拼中,吞吐和时延能力领先于其它云厂商2-3倍。同时受益于多线程架构、高压缩比、高内存利用率等优势,GaussDB(for Redis)对比相同内存的开源Redis,吞吐和时延表现更为优秀。
存算分离的分布式架构是大势所趋,目前已经有越来越多的企业选择将核心业务上云到该架构,而且基于该架构构建的产品核心能力,又极大促进了企业业务的发展,加速企业数字化转型升级。华为云期待未来能有更多企业客户,基于GaussDB(for Redis)的核心能力,共促产业发展,共赢时代新机遇!
好文章,需要你的鼓励
这项研究介绍了Ankh3,一种创新的蛋白质语言模型,通过多任务预训练策略显著提升了模型性能。研究者采用两种互补任务:多掩码概率的掩码语言建模和蛋白质序列补全,使模型仅从蛋白质序列就能学到更丰富的表示。实验表明,Ankh3在二级结构预测、荧光预测等下游任务中表现优异,尤其在模型未曾训练过的任务上展现出强大泛化能力,为蛋白质设计和分析开辟了新路径。
法国波尔多大学研究团队开发了一个突破性框架,用于神经退行性痴呆症的差异化诊断。该框架将3D脑部MRI转换为文本报告,并利用强化学习优化的大语言模型进行详细诊断推理。不同于传统"黑箱"方法,这一系统能生成透明、有因果关系的解释,同时保持高诊断准确率。研究显示,通过群组相对策略优化(GRPO)训练的轻量级模型能展现复杂推理行为,包括假设检验和非线性思考,提供与临床决策流程一致的排序诊断结果。
这项研究提出了CLUE框架,首次能够生成自然语言解释来揭示AI事实核查系统不确定性的来源。与现有方法不同,CLUE能识别文本片段间的冲突与一致关系,并解释它们如何影响模型的预测不确定性。实验表明,CLUE生成的解释在三种语言模型和两个事实核查数据集上都更忠实于模型不确定性,用户评价其更有帮助、信息更丰富、冗余更少且逻辑更一致。CLUE不需要微调或架构更改,适用于任何白盒语言模型,为事实核查提供了实用支持。
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。