IBM公司旗下的红帽今天发布了其OpenShift企业级Kubernetes平台的4.20版本,该平台专门用于软件容器编排。
此次正式发布的版本增加了全新的人工智能功能、更强的平台安全性以及扩展的虚拟化选项,支持混合云和主权环境部署,特别是在数据位置敏感的场景中。
在另一项独立发布中,红帽推出了vLLM语义路由器,这是一个开源项目,旨在通过根据查询复杂性智能路由大语言模型请求来提高AI效率。
红帽表示,OpenShift 4.20中AI集成、抗量子加密和简化虚拟化的结合,有助于组织在保持符合新数字主权要求的同时实现应用现代化。
安全性重点关注
该版本初步支持后量子密码算法,保护控制平面组件之间的通信安全。红帽表示,此功能有助于防范量子计算机能够快速破解复杂加密算法时将出现的威胁。
红帽混合平台市场洞察高级总监Stu Miniman表示,这些增强功能建立在多年开放安全项目投资的基础上。
"在零信任、数据治理、Spiffe和Spire之间,一直有很多活动在进行,"他说。"我们参与的这些项目现在成为我们整体产品的一部分,并与集群管理和高级安全功能相结合。"
更新还包括一个零信任工作负载身份管理器(计划今年晚些时候发布),并扩展了对红帽高级集群安全4.9、红帽可信工件签名器和红帽可信配置文件分析器的支持。
OpenShift用户现在可以使用自己的OpenID Connect身份提供商,并通过外部密钥运营商管理跨环境的密钥,该运营商可与HashiCorp公司的Vault等外部存储库同步。
简化AI工作负载
红帽表示,OpenShift 4.20具有简化大型AI工作负载部署和管理的新功能。例如,LeaderWorkerSet应用程序编程接口可自动化分布式AI模型的编排和扩展,而图像卷源功能使团队能够集成新模型而无需重建容器。
"我们正在努力增强AI作为我们产品工作负载的功能,以及增强平台本身,"Miniman说。
此次发布还扩展了红帽OpenShift Lightspeed,这是一个内置在OpenShift控制台中的AI驱动虚拟助手。该助手现在通过与红帽Kubernetes高级集群管理器的集成支持多个集群,允许管理员使用自然语言搜索文档、排除故障和导航系统配置。
红帽产品管理高级总监James Labocki表示,这些功能"经过深思熟虑,旨在改善用户体验"。"将Lightspeed集成到红帽开发者中心有助于开发者更快地排除故障并在工作流程中获得指导。"他说公司旨在在其开发工具中嵌入实用的AI。
简化管理
4.20版本在OpenShift虚拟化中引入了CPU负载感知重新平衡和Arm架构支持,以提高性能和资源使用。红帽还将OpenShift虚拟化扩展到Oracle公司云基础设施上的裸机部署,为运营商提供对工作负载放置和数据主权的更多控制。公司还表示,迁移工具包中增强的存储卸载功能允许从传统虚拟化平台迁移的速度提高多达10倍。
"我们的重点一直是简化管理,帮助那些希望脱离传统虚拟化环境并更快迁移到OpenShift虚拟化的客户加速迁移,"Miniman说。
红帽还推出了带有仲裁节点的双节点OpenShift配置,适用于零售和制造站点等高可用性边缘环境。较小的占用空间支持x86和Arm架构,并包含内置的OpenShift虚拟化,用于在断开连接环境中的虚拟化工作负载。
Miniman表示,随着对红帽OpenShift需求的持续攀升,这些更新应运而生。"OpenShift现在是一个年度经常性收入18亿美元的产品,增长率超过30%,"他说。这比2019年收购时的1亿美元有了大幅增长。
智能大语言模型路由
vLLM语义路由器为每个任务选择最佳模型,以优化成本和计算使用。ModernBERT等轻量级分类器分析查询意图,并将其路由到较小、较快的模型处理简单请求,或路由到具有推理能力的模型处理复杂分析任务。
该项目创建者、红帽杰出工程师Huamin Chen在声明中表示:"如果用户有一个简单的请求,比如'北卡罗来纳州的首府是什么?',就不需要多步推理过程。VLLM语义路由器确保生成的每个Token都能增加价值。"
红帽表示,该路由器用Rust编写,基于Hugging Face的Candle框架构建,为云原生部署提供低延迟和高并发性。它通过Envoy外部处理插件与Kubernetes集成,使企业能够使用OpenShift在混合云环境中部署和扩展。
当与红帽的分布式推理层llm-d结合使用时,vLLM语义路由器支持高级企业功能,如语义缓存(重用类似提示的结果以减少计算开销)和越狱检测(在不合规请求到达推理引擎之前标记它们)。
红帽表示,基准测试显示准确性提高了10.2%,延迟和Token使用量减少了多达48.5%。
这个开源项目迅速获得关注,自两个月前首次亮相以来,在GitHub上已获得超过2000个星标和近300个分叉。红帽表示,该技术符合其使AI基础设施更加协作、高效和开放的目标。
"推理的演进正在从'我们能运行它吗?'转向'我们如何更好地运行它?'"Chen说。
Q&A
Q1:OpenShift 4.20版本主要增加了哪些新功能?
A:OpenShift 4.20版本主要增加了全新的人工智能功能、更强的平台安全性和扩展的虚拟化选项。具体包括支持后量子密码算法、零信任工作负载身份管理器、LeaderWorkerSet API自动化分布式AI模型编排,以及扩展的AI驱动虚拟助手Lightspeed功能。
Q2:vLLM语义路由器是如何工作的?
A:vLLM语义路由器通过轻量级分类器如ModernBERT分析查询意图,智能地为每个任务选择最佳模型。对于简单请求如"北卡罗来纳州的首府是什么?",它会路由到较小、较快的模型;对于复杂分析任务,则路由到具有推理能力的模型,从而优化成本和计算使用。
Q3:红帽在安全性方面做了哪些增强?
A:红帽在安全性方面主要增强了后量子密码算法支持,保护控制平面组件间通信;推出零信任工作负载身份管理器;扩展了高级集群安全、可信工件签名器等支持;用户还可以使用自己的OpenID Connect身份提供商,并通过外部密钥运营商管理跨环境密钥。
好文章,需要你的鼓励
科技泡沫并非世界末日,从经济角度看,泡沫是押注过大导致供过于求。AI泡沫问题复杂在于AI软件开发节奏与数据中心建设周期的时间错配。甲骨文关联数据中心获180亿美元信贷,Meta承诺三年内投入6000亿美元基础设施。麦肯锡调查显示企业虽广泛使用AI但规模有限,多数仍持观望态度。微软CEO表示更担心数据中心空间不足而非芯片短缺,电力需求成为新瓶颈。
Salesforce AI研究团队构建了首个大规模多模态文档RAG评测基准UniDoc-Bench,包含7万页真实PDF文档和1600个问答对,覆盖8个领域。研究发现文本图像融合检索策略显著优于单一模态和联合多模态方法,为未来AI文档理解系统提供了"分工合作"的设计思路。
Goodfire.ai研究人员首次发现AI语言模型中记忆和推理功能通过完全独立的神经通路运作。研究显示,移除记忆通路后,模型丧失97%的训练数据复述能力,但逻辑推理能力几乎完全保留。令人意外的是,算术运算与记忆共享神经通路而非推理通路,这可能解释了AI模型在数学方面的困难。该技术未来有望用于移除版权内容或敏感信息而不损害模型核心功能。
腾讯研究团队发现AI训练中"推理火花"现象,揭示低概率词汇如"等等"、"不过"等在维持AI探索能力中的关键作用。团队开发的低概率正则化方法通过精准保护有价值的低概率词汇,在数学推理任务中实现60.17%准确率,比传统方法提升2.66%,为AI创造性思维研究开辟新路径。