AWS为S3新增向量存储桶以降低RAG存储成本

AWS已为S3对象存储新增向量存储桶功能，旨在降低在Amazon OpenSearch服务中存储访问频率较低的向量数据的成本。

随着企业越来越多地采用基于大语言模型的AI技术，非结构化数据的重要性日益凸显，检索增强生成（RAG）和智能体技术正成为其中的重要组成部分。RAG技术能够为大语言模型和智能体提供专有信息。这些信息大部分是非结构化的，需要进行向量化处理，以便大语言模型和智能体能够进行基于向量的分析。特殊的大语言模型负责执行向量化处理，然后这些向量需要存储。AWS已经通过其OpenSearch服务提供了这一功能。然而，与本地对象存储和向量数据库相比，该服务存在一定劣势。AWS数据库实例的成本包括存储容量和计算资源两部分。通过将访问频率较低的向量存储在S3中，AWS可以降低向量数据库的计算成本，为客户节省费用。

AWS云服务首席开发者倡导者Channy Yun在博客中写道："我们宣布推出Amazon S3 Vectors预览版，这是一个专门构建的持久向量存储解决方案，可以将向量的上传、存储和查询总成本最多降低90%。"

这使得创建和使用大型向量数据集变得更加经济高效，从而改善AI智能体的记忆和上下文能力，以及客户S3数据的语义搜索结果。据AWS公告称，S3 Vectors功能"与Amazon Bedrock知识库原生集成，使您能够降低使用大型向量数据集进行检索增强生成（RAG）的成本。您还可以将S3 Vectors与Amazon OpenSearch服务结合使用，降低不经常查询的向量的存储成本，然后随着需求增加或为增强搜索能力而快速将其移至OpenSearch。"

S3向量支持通过新的向量存储桶实现，Yun表示该存储桶具有"专门的API集合，用于存储、访问和查询向量数据，无需配置任何基础设施。"存储桶包含两种类型的内容：向量和用于组织向量的向量索引。Yun说："每个向量存储桶最多可以有10,000个向量索引，每个向量索引可以容纳数千万个向量。"

还有一个巧妙的额外功能："您还可以将元数据作为键值对附加到每个向量，以便根据一组条件（例如日期、类别或用户偏好）过滤未来的查询。"这减少了向量选择和扫描时间。

S3 Vectors会自动优化向量数据，以便随着存储桶内容的变化实现向量存储的最佳性价比。

S3 Vectors功能与Amazon Bedrock知识库集成，包括在Amazon SageMaker统一工作室中构建RAG应用程序。在Amazon Bedrock控制台中创建知识库时，您可以选择S3向量存储桶作为向量存储选项。

S3 Vectors还与Amazon OpenSearch服务集成。如果您通过将低访问率向量保存在S3 Vectors中来降低存储成本，您可以根据需要将它们移动到OpenSearch，并获得实时、低延迟的搜索操作。

AWS副总裁兼杰出存储工程师Andrew Warfield表示："S3 vectors将成本锚定在存储上，并假设查询需求会随时间波动，这意味着您不需要100%的时间都保留最大资源。因此，当我们考虑成本时，我们假设您大部分时间为存储付费，而仅在与数据交互时才为查询/插入成本付费。

"当我们查看客户工作负载时，我们发现绝大多数向量索引都不需要100%的时间配置计算、RAM或SSD。例如，在专用r7g.2xlarge实例上运行包含一千万向量数据集的传统向量数据库，即使在向量数据库管理成本之前，每月就可能花费超过300美元，无论它提供多少查询。

"在S3中托管同样的数据集，每月只需30多美元，可处理25万次查询并每月覆盖50%的向量。对于工作负载需要加速的客户，他们还可以将向量索引移动到传统向量存储（如Open Search），在数据库运行繁忙期间按实例方式付费。"

Yun的博客文章解释了如何设置和使用S3 Vectors。

AWS并非唯一在对象存储中添加向量支持的厂商。Cloudian本月早些时候使用Milvus数据库扩展了其HyperStore对象存储的向量数据库支持。

Amazon S3 Vectors预览版现已在美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、亚太（悉尼）和欧洲（法兰克福）地区提供。要了解更多信息，请访问产品页面、S3定价页面、文档和AWS新闻博客。