生成式 AI 等人工智能应用的支出正在推高企业云计算成本。根据技术支出管理解决方案提供商 Tangoe 在 2024 年 10 月委托 Vanson Bourne 进行的一项调查报告显示,这些成本平均上涨了 30%。
此外,72% 的 IT 和财务主管认为生成式 AI 导致的云计算支出已变得难以控制。
Tangoe 首席产品官 Chris Ortbals 在一份声明中表示:"生成式 AI 正在引发云计算热潮,这将使 IT 支出达到新高。随着云计算支出同比增长 30%,我们正在看到 AI 需求带来的财务影响。如果不加以管理,生成式 AI 可能会使创新在财务上变得不可持续。"
Ortbals 甚至将云计算成本描述为生成式 AI 的致命威胁。
"云计算的隐性成本和不可预测的账单可能会成为生成式 AI 的无声杀手,"Ortbals 补充道。"公司越早采用全面的 FinOps 成本管理策略,就越容易将生成式 AI 的承诺转化为持久的创新,而不是失控的支出和技术债务。"
Ortbals 在 Forbes 上撰文指出,云计算成本正在通货膨胀和技术债务的影响下上升。他指出,CIO 作为"惯常的企业融资者"需要为共享服务付费,即使成本上涨。随着云计算成本攀升,IT 部门和财务部门之间的紧张关系也在加剧。
AI 如何影响云计算格局
PwC 云计算、工程、数据和 AI 负责人 Matt Hobbs 解释说,由于 AI 的需求,云计算支出确实在增加。
"如果你看看特定工作负载的资源密集程度,再加上这些资源受到严重限制的事实,就会发现这些因素目前确实使成本居高不下,"Hobbs 对 InformationWeek 表示。
他说,AI 工作负载成本高昂是因为组织对算力的需求很大,而且它们正在使用云资源来统一数据环境。
"速度在这里非常重要,如果你使用云计算,相比于本地部署,你能够获得更快的速度,"Hobbs 说。
此外,随着组织从本地基础设施迁移并关闭数据中心转向云计算,即使在 AI 推高成本的情况下,公司的云计算成本也在增加,Hobbs 表示。
Hobbs 还指出,随着 AI 公司提供自己的直接大语言模型服务,而云提供商也在集成这些服务,产生了"重复成本"。
"如果你将 AI 视为推高云计算成本的驱动因素,这就引出一个问题:是实际成本更高了,还是因为 AI 而导致向云计算转移?"Hobbs 说。
随着基础设施生命周期缩短和 GPU 变得更强大,云计算成本上升,云管理平台 Emma 的 CEO 兼创始人 Dmitry Panenkov 解释道。
"基本上,生命周期变得更短,他们发布的每一个加速器都更强大,但另一方面也更昂贵,这自动推高了成本,"Panenkov 解释说。"因此,如果你想获得这些 GPU,你需要支付更多费用,提供商也需要支付更多。然后,如果你在顶级加速器上训练模型,你每小时需要支付更多费用来提升这种能力。"
尽管由于 AI 导致云计算成本增加,但根据 Hobbs 的说法,组织并没有减少在云计算或 AI 方面的支出。
New Relic 首席技术战略师 Nic Benders 同意,在 AI 增长的背景下,对云计算等基础设施的支出将保持强劲。
"我认为 IT 支出实际上受到 IT 预算金额的限制,而不是受到可支出项目的限制,"Benders 说。"因此,我认为我们将继续看到基础设施支出的快速增长。"
AI 工具如何帮助预测云计算支出
尽管 AI 可能会推高云计算成本,但 AI 工具也可以帮助管理这些成本并缓解云计算支出。组织可以使用预测分析来研究过去的使用模式。此外,机器学习可以根据过去的使用模式训练模型,并自动调整云资源的使用。
Panenkov 说,Emma 使用 AI 分析云工作负载的行为,使组织能够调整其环境以减少云计算账单。他预测,随着 GPU 加速器价格下降,AI 成本和云计算成本也会下降。
"我们有一个连接云的网络骨干,我们有 AI 算法来定义从一个服务提供商到另一个服务提供商的最佳和最优路径,这与较低的成本相关,"Panenkov 说。
Benders 也认为向 GPU 加速器等昂贵基础设施的转移是短期的。
就像科技行业从集群中的三个节点发展到数千个节点,硬件变得更便宜一样,Benders 看到 AI 也有类似的模式。
"我怀疑我们会看到 AI 驱动的负载也会出现同样的情况,如果它成熟,就会远离那些尖端的实验系统,但这要等几年后了。所以,我认为我们现在正处于一个阶段,人们会将资金投入到这些尖端系统上,"他说,指的是 GPU 加速器。
CIO 应如何应对未来的 AI 和云计算支出
Panenkov 建议采用混合模型来管理云计算成本。
"最佳的工作模型是混合模型,你可以在本地环境中训练模型,"Panenkov 说。"但如果你需要扩展并获取更多 GPU 实例来继续训练模型,你可以将工作负载扩展到云端,在短时间内从云服务提供商那里租用某些实例,我们认为这是正确的方法。"
Hobbs 建议组织在选择基础设施时评估他们使用 AI 服务的目的。通过在边缘部署工作负载(无论是云还是 AI)作为混合云设置的一部分,组织可以降低整体云计算成本。
"当企业数据连接时,公司自然会利用集中式云,"Hobbs 解释说。"然而,当数据在边缘断开连接时,在本地放置计算能力可以显著降低成本。"
例如,Hobbs 指出,电信公司可能通过私有云和公共云为客户提供服务。在这种安排中,私有云为终端用户提供直接价值,而公共云为企业提供运营效率。
"我认为组织在云计算之旅中的位置更重要——这才是真正推动架构决策的因素——而不是仅仅遵循向客户提供最终服务的固定模式,"Hobbs 说。
好文章,需要你的鼓励
SambaNova Systems 推出新的 AI 深度研究框架,可生成深度报告的速度提高 3 倍,成本大幅降低。该框架与 CrewAI 合作开发,支持企业分析私密数据,使用开源大语言模型和 SambaNova 的 AI 加速器,无需依赖 Nvidia GPU。新框架包含智能路由系统,可根据需求选择最合适的智能体,提供从基础搜索到深度财务分析的全方位研究能力。
生成式 AI 模型需要大量真实数据训练,但互联网上的内容仍不足以应对所有情况。为继续发展,这些模型需要使用模拟或合成数据进行训练。专家指出,AI 开发者必须负责任地使用合成数据,否则可能会迅速出现问题。合成数据可以教导模型应对现有数据中不存在的场景,但关键是要确保这些数据可靠且符合现实。
最近,中国人工智能公司Monica推出的Manus引发了广泛关注。然而,与DeepSeek等有实质性突破的中国AI不同,Manus并无革命性创新。它宣称具有自主性,实际上只是执行预设流程的大语言模型。Manus的唯一新颖之处在于它来自中国,但这并不足以证明它的先进性。AI的成功取决于应用,而非产地。
Oracle 宣布客户承诺未来云服务消费将达 480 亿美元,接近其 2024 财年年收入。尽管第三季度收入增长 6%,净收入增长 22%,但由于未达华尔街预期,投资者反应平淡。公司在人工智能基础设施方面持续投资,包括参与 Stargate 项目和建设大规模 GPU 集群,展现出对未来增长的信心。