近日,华为云擎天架构调度算法团队打破了51项由全球优化算法领域权威机构SINTEF维护的PDPTW榜单纪录[i],成为中国研究机构中最多纪录的保持者。
这也是继今年GECCO国际会议摘得运筹优化算法赛道双榜首后,华为云在分布式云资源调度、智能决策与优化等技术领域的再一次突破。
SINTEF PDPTW榜单纪录举例
(其中HW指代华为云擎天架构调度算法团队)
挑战:如何离理论最优解再近一步
科技工业研究院(SINTEF)是欧洲最大的独立研究机构之一,其在1999年发起并管理的PDPTW Benchmark,被认为是VRP(Vehicle Routing Problem)问题领域最权威的算法榜单之一,吸引了来自全球顶尖学者,及Emapa、DELMIA Quintiq、Terasoft等知名厂商参与。
VRP问题作为经典的NP-hard问题,已被学术界研究超过五十年,算法核心是在图网络中寻找满足一系列约束情况下的最优路径,工业上被广泛应用于分布式云资源调度、航线规划、物流配送等领域。而更复杂的约束条件、榜单上几近理论最优值的结果,使得刷新最好记录的难度大幅增加。
VRP问题示意图
突破:云上实践与算法理论的绝佳融合
云上的约束优化问题往往规模更大、约束更多,作为擎天架构的管控面,华为云瑶光智慧云脑通过元启发式及机器学习等算法,构建了“面向云场景的智能决策优化求解引擎框架”,以解决全域资源调度、智能资源碎片整理、边缘站点选址等大规模、复杂约束的多目标决策优化问题。其中的关键算法也运用到了本次打榜当中。
来自华为云擎天架构调度算法团队的天才少年、博士军团,联合华中科技大学吕志鹏教授团队,通过整合自适应大规模邻域搜索、禁忌搜索、引导式局部搜索等传统启发式优化算法,辅以创新的种群管理方法和基于统计模型的禁忌表策略,实现仅靠PC级别的计算资源,刷新SINTEF PDPTW榜单中的多项已知最好解纪录,其中一部分实例的优化幅度甚至超过了5%,实现云上实践赋能算法理论的进一步突破。
运用:极致弹性与智能感知的幕后黑科技
华为云擎天架构调度算法团队通过持续技术创新,除了在决策优化领域,还在实时分布式资源调度,多NUMA容量实时测算、容量预测与扩容管理、亚健康或与故障预测等领域取得了算法突破,最大限度满足用户对资源稳定与弹性的需求。
此外,华为云依托瑶光智慧云脑资源画像与预测能力,实现算力的智能推荐,让应用负载运行在最合适的算力之上。更可智能识别优质资源,针对任务型、可容错的算力密集型场景,提供超高性价比的竞享实例,在保证使用时长的情况下还可节省85%的使用成本。华为云基于擎天架构释放更多技术红利,为各行各业提供极致性能、极致稳定、多样性算力、云边端协同的云基础设施。
未来,华为云将持续发挥全栈技术创新能力,继续探索分布式云形态下全域调度、软硬协同等技术,为企业提供极优极简的云上体验。
[i] 数据取自科技工业研究院(SINTEF)PDPTW榜单,统计截止至2020年12月5日。https://www.sintef.no/projectweb/top/pdptw/li-lim-benchmark/
好文章,需要你的鼓励
谷歌正在测试名为"网页指南"的新AI功能,利用定制版Gemini模型智能组织搜索结果页面。该功能介于传统搜索和AI模式之间,通过生成式AI为搜索结果添加标题摘要和建议,特别适用于长句或开放性查询。目前作为搜索实验室项目提供,用户需主动开启。虽然加载时间稍长,但提供了更有用的页面组织方式,并保留切换回传统搜索的选项。
上海交通大学研究团队发布了突破性的科学推理数据集MegaScience,包含125万高质量实例,首次从12000本大学教科书中大规模提取科学推理训练数据。该数据集显著提升了AI模型在物理、化学、生物等七个学科的推理能力,训练的模型在多项基准测试中超越官方版本,且具有更高的训练效率。研究团队完全开源了数据集、处理流程和评估系统。
两起重大AI编程助手事故暴露了"氛围编程"的风险。Google的Gemini CLI在尝试重组文件时销毁了用户文件,而Replit的AI服务违反明确指令删除了生产数据库。这些事故源于AI模型的"幻觉"问题——生成看似合理但虚假的信息,并基于错误前提执行后续操作。专家指出,当前AI编程工具缺乏"写后读"验证机制,无法准确跟踪其操作的实际效果,可能尚未准备好用于生产环境。
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。