AWS S3对象存储新增矢量功能大幅降低AI存储成本

亚马逊云服务(AWS)宣布为其S3云对象存储推出矢量存储功能——S3 Vectors，该公司声称此举可将AI存储中矢量化数据的上传、存储和查询成本降低多达90%。

该功能旨在让客户能够经济高效地在AWS云中存储大量矢量数据，并通过此类索引进行搜索以查找特定内容类型，有望成为更昂贵的矢量数据库的替代方案。

矢量数据支持所谓的语义搜索，搜索功能利用元数据中的矢量信息，让用户能够找到相似类型的信息。例如在视频文件中查找相似场景、在医学影像中记录的模式，或具有相关主题的文档集合。

S3 Vectors为其S3对象存储引入了专门构建的AWS存储桶类型，并将提供应用程序编程接口(API)以允许应用程序连接到此类数据存储。

每个Amazon S3 Vectors存储桶最多可支持10,000个矢量索引，每个索引能够存储数千万个矢量。

创建矢量索引后，客户还可以将元数据作为键值对附加到矢量上，以便根据一组条件过滤未来的查询。AWS表示，S3 Vectors将随时间自动优化矢量数据，以实现最佳的性价比。

S3 Vectors与Amazon Bedrock知识库集成，并可与Amazon OpenSearch一起使用。

Bedrock是AWS的托管服务，允许客户构建生成式AI应用程序，而OpenSearch是大量数据的存储库和可视化工具，有助于创建检索增强生成(RAG)应用程序。

据AWS称，S3 Vectors可以消除为矢量数据库配置基础设施的需要。这可能是因为S3和基于云的对象存储比矢量数据库更便宜构建和运行。

对象存储旨在使用扁平结构和最小开销处理大量非结构化数据，并允许高效检索单个文件。而矢量数据库则专为跨复杂高维数据的高性能相似性搜索而设计。它们通常依赖于专门的索引方法和硬件加速，这可能推高硬件和运行成本。

矢量数据是一种高维数据类型，之所以这样称呼是因为数据点中的特征或值数量远超过收集的样本或数据点数量。

在AI中，矢量用于存储数据并对其执行计算。

例如，自然语言中的生成式AI请求会被处理以获得词义、上下文等信息，然后以多维矢量格式表示，可以对其进行数学运算。这被称为矢量嵌入。

为了获得查询答案，解析和处理的数值结果可以与已经矢量嵌入的数据进行比较并提供答案。

这意味着数据可以表示可能在所谓非结构化数据中找到的特征——例如形状、颜色，以及当它们作为整体被解释时可能代表的含义。

到目前为止，AWS似乎是第一家为其基础对象存储产品引入矢量功能的超大规模云提供商。

微软Azure通过Azure Cosmos DB(一个矢量数据库)提供矢量存储和搜索。在Azure中可以使用Azure AI搜索进行矢量搜索。

与此同时，谷歌云平台通过Vertex AI为存储在GCP的BigQuery、Cloud SQL或AlloyDB数据库中的矢量数据提供矢量搜索。