Together AI推出自助式GPU基础设施服务

专门为人工智能模型开发和部署构建云服务的初创公司Together Computer Inc.（运营名称为Together AI）今日宣布，其自动化GPU集群配置服务Instant Clusters正式全面上线。

该公司表示，客户可以通过单一应用程序编程接口访问GPU集群，规模从配备8个GPU的单节点系统到拥有数百个处理器的大型多节点系统不等。该服务支持英伟达最新硬件，包括Hopper和Blackwell GPU，并针对分布式训练和弹性推理等应用场景进行了优化。

Together AI首席产品官Charles Zedlewski表示，该服务自初夏开始进行内测，正式版本根据用户反馈加入了多项更新功能，包括改进的自动扩缩容功能、动态扩展预留基础设施的能力，以及对基础设施即代码工具Skypilot和Terraform的支持。

"我们添加了Terraform支持，让用户能够围绕这些GPU集群构建自己的自动化系统，"Zedlewski说，"我们还增加了重新创建集群并使用原始数据和存储重新挂载的功能。"

这种重新挂载功能支持间歇性训练工作负载，用户可以在大规模模型开发中常见的长时间周期内暂停和恢复训练任务。

Instant Clusters本质上旨在模拟传统云基础设施的用户体验，同时处理AI工作负载的特定需求。集群预装了驱动程序、调度器和网络组件，包括GPU Operator、英伟达网络操作器和InfiniBand互连。该公司表示，手动配置这些组件可能需要数天时间。

Zedlewski指出，由于GPU基础设施与传统CPU环境存在根本差异，安装和配置仍主要依赖手动流程。"GPU基础设施的整个虚拟化和自动化堆栈与我们长期熟悉的x86 CPU基础设施的等效堆栈存在显著差异，"他说。云计算提供商花费了20年时间微调CPU基础设施，但仍在学习如何针对AI进行优化。

Together AI表示，公司在集群可用前会执行硬件检查、压力测试和节点间通信验证。"如果你配置了一个8节点、64GPU的集群，我们基本上会在每个节点出现在你的环境中之前对其进行预测试，"Zedlewski说。

Instant Clusters针对Kubernetes、Slurm和其他编排工具进行了优化。客户可以锁定特定的驱动程序和英伟达Cuda版本，并重复使用自定义容器镜像，以简化训练和推理阶段的可重现性。

存储可按需挂载到集群。虽然用户必须使用Together AI的POSIX兼容并行文件系统，但存储和计算可以独立扩展。

该服务根据使用时长支持可变定价模式，提供小时、日和多月承诺选项。低端英伟达HGX H100推理集群根据客户的频次承诺，价格从每小时1.76美元到2.39美元不等。英伟达高端HGX B200长期承诺价格为每小时4美元，按需使用价格为每小时5.50美元。

Zedlewski表示，大多数组织很难通过自建基础设施来匹配这种成本效率："如果有人试图自行构建，我会感到非常惊讶。"

Q&A

Q1：Instant Clusters是什么服务？

A：Instant Clusters是Together AI推出的自动化GPU集群配置服务，允许客户通过单一API访问从8个GPU的单节点到数百个处理器的大型多节点GPU集群，支持英伟达最新的Hopper和Blackwell GPU硬件。

Q2：Instant Clusters有什么优势？

A：该服务集群预装了驱动程序、调度器和网络组件，避免了手动配置需要数天时间的问题。还提供硬件检查、压力测试和节点间通信验证，确保集群在交付前完全可用。

Q3：Instant Clusters的价格如何？

A：服务支持按小时、日和多月承诺的可变定价模式。低端英伟达HGX H100推理集群每小时1.76-2.39美元，高端HGX B200长期承诺每小时4美元，按需使用每小时5.50美元。