AWS推出新型日志分析引擎，宣称可降低存储成本70%

AWS正致力于帮助企业应对日益增长的遥测数据留存成本问题，为此推出了一款专为日志分析优化的新引擎，适用于其托管服务Amazon OpenSearch Service。AWS声称，该引擎可将存储成本降低70%，同时提供更优的性价比表现。

随着AI与智能体应用产生的遥测数据量远超传统可观测性架构的经济承受能力，企业不得不在保留安全合规与事件响应所需的运营数据和控制持续攀升的基础设施成本之间寻求平衡。

AWS表示，新引擎允许用户继续沿用与现有通用引擎相同的管理控制台、API、安全模型和网络配置，同时采用Apache Parquet格式存储数据，并为可检索字段维护Lucene搜索索引。

据AWS高管在一篇博客文章中介绍，该引擎采用Apache Calcite对查询进行解析和优化，再将分析操作路由至Apache DataFusion，将搜索谓词路由至Lucene，从而实现在同一查询中同时运行搜索与分析聚合。优化引擎支持SQL和管道处理语言（PPL）。

Dynatrace近期对企业日志管理实践的调查显示，AI工作负载导致日志量同比激增93%，而企业为控制成本和系统容量，平均需要排除86%的日志数据。

HFS Research执行研究负责人Ashish Chaturvedi表示："在保持成本基本不变的前提下管理不断增长的日志量，是企业面临的长期挑战。大多数企业最终不得不缩短日志留存窗口或对日志进行采样，而这恰恰会导致在遭遇意外事件时丢失关键数据。"

Info-Tech Research Group首席研究总监Shashi Bellamkonda指出，AI智能体已经打破了通用OpenSearch背后的成本逻辑："智能体持续在后台触发日志查询的行为，与原有引擎内置的成本和性能假设完全不符。账单越来越高，企业只能主动'放弃视野'。"

HyperFrame Research AI栈分析师Stephanie Walter认为，即便用户只能实现AWS承诺收益的一部分，新引擎依然大有裨益。"更低的存储成本意味着可以延长数据留存周期、更好地满足合规要求，并支持更完整的事件调查。"

Bellamkonda补充道，更低廉的留存成本还有助于CIO遏制工具蔓延的问题，因为这减少了仅出于成本套利目的而将可观测性工具分散到多个供应商的动机。"工具蔓延本身也有代价：集成开销、以及维护五个仪表盘而非一个所需的人力投入。"

然而，分析师们也提醒，要真正实现这些收益，可能需要付出比AWS强调的"兼容性"所暗示的更多的工作量。

Bellamkonda指出："AWS明确表示，优化引擎无法添加到现有域中，也无法在通用域内的单个索引上启用。采用新引擎意味着需要搭建全新的域并迁移数据采集管道，这对工程团队而言远比简单的平移迁移复杂。"

Chaturvedi还指出了新引擎的另一个局限：不支持领域特定语言（DSL）。这意味着那些基于DSL查询构建现有OpenSearch部署、或有频繁更新需求的企业，在迁移到优化引擎之前，可能需要重写仪表盘、告警规则和自动化工作流，从而延长迁移周期。

Bellamkonda认为，这些落地层面的考量对新引擎采用速度的影响，将远大于技术本身："阻碍企业离开已超出承载能力的基础设施的，通常是迁移摩擦，而非成本。"他同时指出，AWS通过支持沿用相同的Bulk API和客户端库进行数据采集，在一定程度上降低了迁移摩擦——采集管道和应用代码均无需修改，但迁移工作本身并未被完全消除。

目前，面向Amazon OpenSearch Service的新型优化引擎已正式全面上线。

Q&A

Q1：Amazon OpenSearch Service新型日志分析引擎具体能降低多少成本？

A：AWS声称，这款专为日志分析优化的新引擎可将存储成本降低70%，同时提供更优的性价比。分析师Stephanie Walter表示，即便用户只能实现部分承诺收益，也能带来更长的数据留存周期、更好的合规支持和更完整的事件调查能力。但实际收益因企业具体情况而异，迁移工作量也不容忽视。

Q2：Amazon OpenSearch Service新引擎支持哪些查询语言，有什么限制？

A：新型优化引擎支持SQL和管道处理语言（PPL），但不支持领域特定语言（DSL）。这意味着依赖DSL查询的企业在迁移前需要重写仪表盘、告警和自动化工作流。此外，新引擎无法添加到现有域，也不能在通用域内的单个索引上启用，必须搭建全新的域并迁移数据采集管道。

Q3：AI智能体的发展为什么会推高企业的日志管理成本？

A：AI与智能体应用会持续在后台发起大量查询并产生海量遥测数据，Dynatrace调查显示AI工作负载导致日志量同比激增93%。这远超传统可观测性架构的承载能力，导致企业为控制成本不得不平均排除86%的日志数据，甚至缩短留存窗口，从而在关键事件发生时面临数据丢失的风险。