根据 IT 分析机构 Synergy Research Group 的研究显示,随着运营商为满足日益增长的生成式 AI 服务需求而扩充其设施的 IT 负载能力,超大规模数据中心的规模正在不断扩大。
Synergy Research Group 分享的预测数据显示,未来四年内,超大规模数据中心的平均规模将增长一倍。
Synergy 在一份研究报告中指出:"超大规模数据中心的关键 IT 负载规模一直呈增长趋势,但生成式 AI 技术和服务的高能耗特性让这一趋势加速发展。"
"与此同时,随着单个数据中心的平均 IT 负载不断提升,运营中的超大规模数据中心数量也将持续稳定增长。"
该公司的数据确认,目前全球已有 1,103 个超大规模数据中心在运营,未来四年内还将新增 497 个。
Synergy 补充道:"考虑到超大规模数据中心数量的持续增长和显著增加的平均规模,我们预测到 2030 年底,超大规模数据中心的总容量将增长近两倍。"
该公司的超大规模研究基于对全球 19 家主要云计算和互联网服务公司的数据中心足迹和运营分析。
Synergy Research Group 首席分析师 John Dinsdale 表示:"运营中的超大规模数据中心数量持续增长,在过去五年中翻了一番。这一基数将继续增长,但市场最显著的变化是新建数据中心容量的不断提升。"
"考虑到超大规模数据中心的组合在不断变化 - 新旧更替、区域差异以及自有与租赁的比例 - 这个计算很复杂,但总的来说,我们将看到以 GPU 为导向的基础设施使新建超大规模数据中心的容量翻倍。"
这是 Synergy Research Group 近期第二次发布数据,指出生成式 AI 需求对数据中心市场的变革性影响。
数据显示,生成式 AI 服务需求是 2024 年数据中心硬件和软件支出创历史新高的原因之一,因为数据中心运营商在去年投入大量资金建设支持 AI 的服务器集群。
Dinsdale 说:"虽然公共云的持续成功一直是过去十多年推动数据中心投资的主要力量,但没有人预想到 2024 年数据中心设备市场规模会超过 2,800 亿美元。"
好文章,需要你的鼓励
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。