对象存储供应商MinIO已正式发布其AIStor Tables功能。
AIStor是MinIO的对象存储软件,Tables功能指的是开源Apache Iceberg软件,用于通过SQL查询访问大型分析表。可以将其视为云对象存储(如AWS S3、Azure Blob、GCP)以及Parquet、ORC和Avro等格式之上的软件层,现在还包括MinIO的AIStor。
MinIO联合创始人兼CEO AB Periasamy表示:"分析和AI基础设施不再仅仅由计算能力定义。数据层现在决定了企业AI价值能够实际实现多少。当结构化和非结构化数据统一时,AI系统可以学习更多、推理更好,并产生更大的影响。只有像MinIO AIStor这样的对象原生架构才能使数据变得快速、流畅,并为大规模AI做好准备。通过AIStor Tables,我们将企业数据聚集在一个高性能数据存储中,直接为分析和AI系统提供数据。"
MinIO表示,AI数据情况既简单又严峻:AI系统必须在分散和重复的数据管道中工作,因为结构化数据存储在数据库中,而非结构化数据则保存在对象存储中,再加上文件。但MinIO关于重复数据管道的观点仍然有效。
AIStor Tables功能是使用Apache Iceberg表在单一数据存储中统一结构化数据和对象的一种方式。这意味着可以有一个单一的数据管道将分析应用、AI智能体和模型连接到使用Iceberg的AIStor。MinIO表示,这些数据访问功能现在可以"同时分析结构化和非结构化数据,在大规模和高性能的完整、最新企业数据上运行。"它提到了艾字节级规模。
MinIO声称它是业内首家将完整Apache Iceberg V3 Catalog REST API直接构建到数据存储中的公司,提供Iceberg REST目录视图。这些视图是由SQL查询定义的虚拟表,存储有关查询定义的元数据。它表示Apache Iceberg表成为AIStor中的一等公民,包括视图和多表事务。
MinIO的AIStor Tables可以部署在本地、私有、主权和混合环境中,声称与超大规模云服务商控制的表服务相比,存储成本降低高达40%。这是因为Tables功能包含在AIStor中,无需额外费用,这与AWS S3 Tables不同。AWS表示,使用S3 Tables时,您需要为存储、请求以及存储在表存储桶中的每个对象的对象监控费用付费。S3 Tables定价可以在此查看。
MinIO AIStor Tables现已作为MinIO AIStor的一部分提供。企业可以从min.io直接下载和部署。
可以在博客中阅读关于AIStor Tables中Iceberg视图的内容,在此处了解更多关于原生Iceberg V3的信息,以及在此处了解Iceberg删除向量、行血缘、几何和地理类型等更多信息。
备注
AIStor Tables功能于去年9月进入有限技术预览状态。
Q&A
Q1:MinIO AIStor Tables是什么?它解决了什么问题?
A:MinIO AIStor Tables是MinIO对象存储软件中的一个功能,使用Apache Iceberg表在单一数据存储中统一结构化数据和对象。它解决了AI系统需要在分散的数据管道中工作的问题,因为传统上结构化数据存储在数据库中,非结构化数据保存在对象存储中,导致数据分散。
Q2:AIStor Tables相比AWS S3 Tables有什么优势?
A:MinIO声称AIStor Tables相比AWS S3 Tables成本更低,可降低存储成本高达40%。这是因为Tables功能包含在AIStor中无需额外费用,而AWS S3 Tables需要为存储、请求以及存储在表存储桶中的每个对象的监控费用付费。
Q3:Apache Iceberg在AIStor Tables中起什么作用?
A:Apache Iceberg是用于大型分析表的开源软件,可通过SQL查询访问。在AIStor Tables中,MinIO将完整Apache Iceberg V3 Catalog REST API直接构建到数据存储中,使Apache Iceberg表成为AIStor中的一等公民,包括视图和多表事务功能。
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。