谷歌云配置更新导致VMware Engine跨区集群大范围中断

谷歌云VMware Engine（GCVE）因一次错误的配置更新，于本周二引发多区域服务中断，三个地区的跨区连接均受到影响。

此次故障持续时间超过十小时，于UTC时间7月14日下午5时开始，至7月15日凌晨4时46分得到解决。受影响区域包括悉尼（australia-southeast1）、墨尔本（australia-southeast2）以及法兰克福（europe-west3）的VMware Engine拉伸集群。谷歌事后确认，一次近期的网络配置更新是导致跨区网络中断的根本原因，并通过回滚至上一个已知正常的配置状态完成修复。

故障经过

UTC时间7月14日晚8时24分发布的首条状态更新，将此次事件定性为影响拉伸集群的网络连接问题，并指出计算与存储服务未受波及。彼时GCVE虚拟机仍在正常运行，但谷歌承认用户可能遭遇虚拟机连接异常。

此后初步调查显示，问题根源可能在于底层网络连通性故障，具体影响到了拉伸集群内各区域之间的互联基础设施。

谷歌云在通知中表示："此次中断正在导致受影响区域之间出现同步问题，部分使用拉伸集群的GCVE客户可能在相关区域内遭遇跨站点通信故障。"

在积极恢复完整连接的同时，谷歌建议用户在可行的情况下、并在咨询谷歌支持团队后，将工作负载迁移至拉伸集群的健康侧。

首条更新发布不到两小时后，谷歌云确认发现底层跨区通信故障以及集群区域间的边界网关协议（BGP）会话震荡。谷歌指出："具体来看，受影响区域与见证设备之间的网络连接已中断。由于见证设备当前不可达，集群各区域无法安全地进行状态同步。因此，受影响站点上的虚拟机正逐渐陷入孤立状态，可能面临无法写入数据的风险。"

UTC时间晚11时05分，谷歌发布更新称，调查已锁定一次近期配置更新为跨区网络中断的可能原因。7月15日凌晨4时46分，工程团队通过将错误配置回滚至上一已知正常值，完成了问题修复。

EIIRTrend与Pareekh Consulting首席执行官Pareekh Jain对此评价道："谷歌在VMware Engine中修改了一项网络设置，意外切断了两个数据中心区域之间的连接。虚拟机本身持续正常运行，但没有任何用户能够访问，且部分虚拟机存在无法正常保存数据的风险。这说明，即便是托管云基础设施，也可能在关键共享网络组件上发生故障。"

Counterpoint Research副总裁Neil Shah则指出，此次事件的真正症结在于SDN编排控制平面——一次例行的内部网络更新或配置微调，在多个区域引发了路由故障。"尽管大多数物理节点的分布式部署本就是为冗余而设计，但它们仍与单一的共享编排架构紧密耦合。一旦控制平面崩溃，整个系统便会随之瘫痪，物理层面的分布式节点也将失去意义。"

对企业的深远影响

尽管此次故障并未导致虚拟机宕机，但事件本身已动摇了企业部署拉伸集群的核心价值。

Jain强调："拉伸集群的设计初衷，是在单个站点发生故障时保持应用持续运行。一旦连接两个站点的网络中断，这种韧性便荡然无存，工作负载即便在计算与存储均正常的情况下也无法访问。此次事件表明，网络基础设施本身可能成为单点故障。"

Jain还指出，企业部署此类架构，往往是为了保障其最核心的业务系统——即那些绝对不能离线的系统，如医院病历、银行系统或企业数据库。对于这类系统而言，长达12小时的中断，可能意味着巨大的经济损失、错失的业务窗口、客户的强烈不满，在某些行业中甚至可能引发法律或合规方面的麻烦。

此次事件同时揭示，单纯部署拉伸集群并不能消除企业对云服务商底层网络和控制平面的依赖。

Shah补充道："如果CIO们希望真正实现数字化主权，就必须将关键生产数据与自动化层解耦。采用异步地理隔离结合多云部署的策略，可能是规避系统性单点故障的更可行之道。"

Jain亦建议，企业领导者应向云服务商明确询问哪些基础设施是共享的、哪些是独立的，针对最关键的系统在同一服务商体系之外保留真正的备份方案，定期演练服务商系统故障的应对预案，并确保合同中包含针对此类事件再度发生的赔偿条款。

Q&A

Q1：谷歌云VMware Engine这次中断是什么原因造成的？

A：此次中断由谷歌云的一次错误网络配置更新引发，导致VMware Engine拉伸集群中各区域之间的互联基础设施出现底层网络连通性故障，同时造成边界网关协议（BGP）会话震荡，以及集群区域与见证设备之间的网络连接中断。谷歌最终通过将错误配置回滚至上一已知正常值完成修复，整个故障历时超过十小时。

Q2：VMware Engine拉伸集群中断会对企业业务造成什么影响？

A：拉伸集群本是为保障单站点故障时应用持续运行而设计，但网络层面的中断会使这种冗余能力完全失效。受影响的企业将面临工作负载无法访问的问题，即便底层计算与存储资源均正常运行。对于医院、银行等依赖关键系统的行业，长时间中断可能带来经济损失、合规风险以及客户信任危机。

Q3：企业应如何降低对单一云服务商网络控制平面的依赖风险？

A：专家建议，企业应向云服务商明确了解哪些基础设施属于共享组件，并在同一服务商体系之外为最关键的业务系统保留独立备份。此外，将关键生产数据与自动化编排层解耦，采用异步地理隔离结合多云部署的策略，可有效降低系统性单点故障风险。同时，还应定期演练服务商故障场景，并在合同中明确相应赔偿条款。