博通报告：AI推理工作负载正加速向私有云迁移

根据Radius Tech受博通委托对1800名IT高级决策者进行的调查，目前大多数企业已经在私有云上运行AI工作负载，或正在计划这样做。使用公有云进行推理工作负载的企业比例已从去年的56%下降至41%，而私有云用于AI推理的比例则从55%小幅上升至56%。

博通VMware Cloud Foundation部门首席营销官兼营销副总裁Prashanth Shenoy表示："今年的核心结论是，我们见证了AI发展的一个拐点——私有云正成为运行这类工作负载的首选平台。"

总体来看，72%的企业计划在未来三年增加私有云投入，高于2025年调查中的51%。此外，已有50%的企业将部分工作负载迁回自有环境，高于2025年的35%，另有33%的企业正在考虑这样做。报告也显示公有云仍在增长，但增速仅为私有云投资的一半。

推动私有云关注度上升的因素包括：安全性与合规性、成本可预测性以及性能表现。

智能体AI尤其容易导致成本超支，因为智能体的使用会使大语言模型的调用量呈指数级增长。本次调查显示，62%的IT负责人对生成式AI和智能体AI的基础设施成本"非常"或"极度"担忧。

企业同样关注数据保护与隐私问题，其次是安全性与管控能力，而这两点恰恰是私有云部署模式的优势所在。

Shenoy表示，去年公有云在AI试点和训练方面经历了快速增长。"而现在，大多数大型企业客户已完成这一阶段，他们希望模型能够更贴近数据存储和生成的位置——那就是他们自己的本地私有云环境。"

Dell'Oro Group分析师Mauricio Sanchez指出，公有云对许多工作负载依然是合适的选择，"但'所有工作负载终将迁移到公有云'这一旧有假设已经站不住脚了"。

这一趋势也不仅限于AI领域。调查显示，97%的受访者表示他们的公有云支出存在一定程度的浪费，其中52%认为浪费比例超过25%。

尽管成本是一大顾虑，但它并不一定是企业决定工作负载部署位置的最重要因素。安全性与合规性以32%的选择率高居首位，其次是数据主权与管控（15%）、性能与延迟（14%）、与现有系统的集成（14%），而成本则与部署速度和可扩展性并列，均为12%。

Sanchez认同企业对数据暴露、法规合规、性能和成本的担忧。"AI让这种权衡更加突出，"他补充道，"如果一个工作负载的变化较大，或需要使用云端专属服务，公有云仍具吸引力。但如果企业需要针对敏感数据持续运行AI推理、希望对数据和模型位置拥有更多控制权，或需要可预期的经济成本，私有云的吸引力会比几年前大得多。"

AI工作负载与其他应用类型的不同之处在于，它需要调用大规模数据集，依赖昂贵的加速器，同时还有网络、安全管控及独特的治理需求。

ABI Research分析师Michela Menting还指出，对于美国以外的企业而言，数据主权问题同样不可忽视。"由于规模最大的公有云提供商均位于美国，世界其他地区的企业在数据保护是否符合本地法规方面存有顾虑。"她表示，AI系统在处理或使用数据时，可能存在不符合法规要求的情况，"私有云似乎能提供更多保障。"

Q&A

Q1：为什么越来越多的企业选择私有云来运行AI工作负载？

A：根据博通委托调查，企业转向私有云的主要原因包括：安全性与合规性（32%选择此为最关键因素）、数据主权与管控（15%）、性能与延迟（14%），以及成本可预测性。智能体AI和生成式AI的基础设施成本难以控制也是重要推手，62%的IT负责人对此表示高度担忧。此外，随着AI试点和训练阶段完成，企业希望模型更贴近数据所在位置，即本地私有云环境。

Q2：公有云的使用比例下降，是否意味着公有云不再适合AI工作负载？

A：并非如此。公有云对于负载变化大、需要访问专属云服务的场景仍然具有吸引力，且公有云整体仍在增长。但增速仅为私有云的一半。"所有工作负载终将迁移公有云"的旧有假设已不再成立。对于需要针对敏感数据运行稳定AI推理、追求成本可预期性和高度数据管控的企业，私有云正变得更具竞争力。

Q3：AI工作负载与普通应用相比有哪些特殊需求？

A：AI工作负载在技术需求上明显有别于普通应用，主要体现在：需要调用大规模数据集、依赖GPU等昂贵加速器、对网络带宽要求高，同时还涉及独特的安全管控和数据治理要求。此外，智能体AI会使大语言模型的调用量呈指数级增长，进一步加剧成本压力。对于美国以外的企业，AI系统还需满足当地数据主权法规的要求，私有云在合规保障方面具有明显优势。