硬件层面首次揭秘：如何构建独一无二的云计算

开场环节，Peter首先用“树根”这个比喻，阐述了亚马逊云科技创新的源动力。一棵参天大树，枝叶繁茂的背后，是深深扎进土壤的根系。Peter提到，亚马逊云科技的成功同样源自对细节的执着追求，得益于公司自身的文化基因，亚马逊云科技在扩展规模的同时，坚定地关注安全性、运营效率、成本和创新，为客户带来独一无二的云计算服务与客户体验。

接下来，Peter将重点聚焦在构建人工智能基础设施的创新上。首先，Peter援引了一篇2020年发布的论文：人工智能中巨量的计算负载，并不能完全通过横向扩展（Scale out）资源来解决，也同样需要纵向扩展单个计算单元的能力（Scale up）。

Peter提出了构建人工智能基础设施的两个基本支柱：首先，构建更强大的服务器；第二，构建更大规模、更高效率的服务器集群。

基于Trainium2加速器，亚马逊云科技推出了全新的Trainium2服务器（Trainium2 Server），每台Trainium服务器搭载16块Trainium加速器，并配备有专用的Nitro加速卡和机头。一台Trainium服务器可提供20万亿次每秒浮点运算能力，是亚马逊云科技当前最大AI服务器的1.25倍。同时，它还拥有1.5TB的高速HBM内存，是现有最大AI服务器的2.5倍，显存带宽达46TB/s。

而在推动前沿模型的发展的进程中，对于极为苛刻的人工智能工作负载来说，再强大的计算能力也永远不够。为了提供更加极致的计算能力，Peter介绍了全新发布的NeuronLink技术。NeuronLink是亚马逊云科技专有的网络互连技术，它能够将多台Trainium服务器组合成一个逻辑上的单一服务器，连接带宽可达2TB/s的带宽，而延迟仅为1微秒。

通过NeuronLink，芯片之间可以直接访问彼此的内存，就像是一台超级计算机一样工作。这种由NeuronLink技术集成的多服务器集群，被称为 “UltraServer”。Peter展示并发布了由64个Trainum2加速器构成的Trainium2 UltraServer，可提供83.2万亿次每秒浮点运算能力，6TB HBM高速内存，及185 TB/s的HBM内存带宽。相比亚马逊云科技现有人工智能训练实例，UltraServer的计算能力高出5倍，内存容量则是现有规模最大者的10倍。“这正是训练万亿级参数的大型人工智能模型所需要的超级计算平台，非常强大” Peter介绍到。

基于强大的Tranium2服务器，亚马逊云科技推出了Amazon Bedrock低延迟优化推理。

这一创新功能让客户能够访问亚马逊云科技最新的人工智能基础设施和软件优化技术，在各种领先模型上获得卓越的推理性能。其中，广受欢迎的Llama模型的Llama 405B和Llama 70B低延迟优化版本，在亚马逊云科技上展现出超越其他云提供商的出色表现。

同时，亚马逊云科技与Anthropic合作，推出了人工智能模型Claude 3.5的低延迟优化版本，为客户提供更优秀的体验，通过低延迟模式运行Claude Haiku，将提速60%。

本场最大的亮点：Anthropic联合创始人兼首席计算官Tom Brown宣布下一代Claude模型将在Project Rainier上训练，这是一个集成数十万个Trn2芯片的集群，运算能力是以往集群的5倍多，加速Claude模型迭代。客户可以用更低价格、更快速度使用更高智能的模型。

在构建大规模人工智能集群方面，Peter指出，网络是关键。人工智能对网络提出了更高的要求：更大的网络带宽，更快速的获取网络资源，更高的可靠性。

亚马逊云科技开发出面向大规模人工智能集群的网络架构“10p10u网络”。这是一种为超大规模服务器集群提供连接的网络架构，被用于驱动基于UltraSever或Nvidia节点构建的大规模计算集群，为数以千计的计算节点之间提供数十PB/s的网络带宽，延迟低于10微秒。“10p10u网络”具有大规模并行和高密度互连的特点，可以从少量机架扩展到跨越多个数据中心的大规模集群，具有良好的弹性。

最后，Peter总结：通过持续在诸如Nitro、Graviton和存储等领域的核心创新投资，亚马逊云科技正在构建更强大的人工智能服务器。而持续的领先，来自于对硬件细节极致的追求。