5月20-22日, 在以“数字转型、架构重塑”为主题的第十三届中国系统架构师大会(SACC2021)上,华为云NoSQL数据库架构师分享了GaussDB(for Redis)的存算分离架构设计理念以及构筑的产品核心竞争力,以创新技术构建业务敏捷性,驱动企业数字化转型。
Redis作为业界最受欢迎的NoSQL数据库之一,在性能、数据结构多样性等方面具备优势。但随着企业数字化进程加快,开源Redis在AOF膨胀、快照性能、主从脱节、高成本、低容量等方面的劣势愈发明显,这也进一步催生了Redis生态的技术革新。
GaussDB(for Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。
在GaussDB(for Redis)计算存储分离架构模型下,计算层提供了热数据缓存,存储层负责将全量数据落盘。内部通过RDMA高速网络互连,通过算法预测用户访问规律,实现数据的自动冷热交换,最终达到极致的性能提升。
该架构底层核心部分是基于华为内部强大且广泛使用的自研分布式存储系统DFV,实现了一套Share Everything的云原生架构,充分发挥了云原生的弹性伸缩、资源共享的优势,完美避开了开源Redis的主从堆积、主从不一致、fork抖动、内存利用率只有50%、大key阻塞、gossip集群管理等问题。
基于该架构,GaussDB(for Redis)构筑了强一致、高可用、冷热分离、弹性伸缩、高性能等五大极具竞争力的能力优势。
强一致。数据复制是存储的事情,因此专业的事情交给专业的团队来做。通过分布式存储DFV,GaussDB(for Redis)轻松实现了3副本强一致,并可轻松支持6副本,为业界首创。在强一致架构下,用户再也不用担心开源Redis的主从堆积带来的丢数据、不一致、OOM等极端问题,更不用担心业务出错,比如计数器、限流器、访问统计、hash字段等不一致。
高可用。开源Redis的单分片和集群,其数据复制都采用主从架构,导致N个节点的集群,如果同时挂掉一对主从(即2个节点),整个集群就不可用。而GaussDB(for Redis)采用存算分离之后,每个计算节点都可以看到并共享所有数据。因此对于N个节点的实例,最多可以容忍N-1个节点异常,真正做到了超高可用性。
冷热分离。为充分发挥数据价值,GaussDB(for Redis)实行冷热数据分离,热数据放在内存,冷数据放在磁盘,同时自动LRU淘汰冷数据,实时预测算法加载热数据。这样既使得冷热数据一致性强,交互逻辑又简单,对业务友好。
弹性伸缩。数据量膨胀到一定规模后,扩容往往被认为是个高危且困难的操作。GaussDB(for Redis)基于云原生架构,将计算资源和存储资源的扩容解耦。计算层扩容,无需任何数据搬迁,只需修改路由映射,即可秒级完成。存储层是个共建的超级数据湖,其容量巨大,拥有极佳的动态扩容能力。此外,基于64MB细粒度数据分区,整个扩容过程,对上层数据库业务几乎无感。因此GaussDB(for Redis)可以轻松支撑业务后期的大规模膨胀,并且真正做到计算/存储分层的按需扩容和购买。
高性能。受益于多点读写,并且不存在备节点浪费资源,GaussDB(for Redis)在性能比拼中,吞吐和时延能力领先于其它云厂商2-3倍。同时受益于多线程架构、高压缩比、高内存利用率等优势,GaussDB(for Redis)对比相同内存的开源Redis,吞吐和时延表现更为优秀。
存算分离的分布式架构是大势所趋,目前已经有越来越多的企业选择将核心业务上云到该架构,而且基于该架构构建的产品核心能力,又极大促进了企业业务的发展,加速企业数字化转型升级。华为云期待未来能有更多企业客户,基于GaussDB(for Redis)的核心能力,共促产业发展,共赢时代新机遇!
好文章,需要你的鼓励
OpenAI在最新博客中首次承认,其AI安全防护在长时间对话中可能失效。该公司指出,相比短对话,长对话中的安全训练机制可能会退化,用户更容易通过改变措辞或分散话题来绕过检测。这一问题不仅影响OpenAI,也是所有大语言模型面临的技术挑战。目前OpenAI正在研究加强长对话中的安全防护措施。
北航团队推出VoxHammer技术,实现3D模型的精确局部编辑,如同3D版Photoshop。该方法直接在3D空间操作,通过逆向追踪和特征替换确保编辑精度,在保持未修改区域完全一致的同时实现高质量局部修改。研究还创建了Edit3D-Bench评估数据集,为3D编辑领域建立新标准,展现出在游戏开发、影视制作等领域的巨大应用潜力。
谷歌宣布计划到2026年底在弗吉尼亚州投资90亿美元,重点发展云计算和AI基础设施。投资包括在里士满南部切斯特菲尔德县建设新数据中心,扩建现有设施,并为当地居民提供教育和职业发展项目。弗吉尼亚州长表示这项投资是对该州AI经济领导地位的有力认可。此次投资是谷歌北美扩张战略的一部分。
宾夕法尼亚大学研究团队开发出PIXIE系统,这是首个能够仅通过视觉就快速准确预测三维物体完整物理属性的AI系统。该技术将传统需要数小时的物理参数预测缩短至2秒,准确率提升高达4.39倍,并能零样本泛化到真实场景。研究团队还构建了包含1624个标注物体的PIXIEVERSE数据集,为相关技术发展奠定了重要基础,在游戏开发、机器人控制等领域具有广阔应用前景。