Cloudian已使其Hyperscale AI数据平台软件能够在AWS本地区域运行,为AWS客户提供对对象数据的个位数毫秒级延迟访问。
AWS本地区域是AWS的子区域服务点,拥有计算资源(包括GPU)、存储和精选AWS服务,其位置比AWS区域数据中心更靠近大型人口中心和产业集群。本地区域AI数据平台(AIDP)主要面向企业客户的文档检索增强生成(RAG),客户可以部署"理解并推理其存储在S3兼容格式中的完整文档、手册、报告和多媒体内容存储库的智能体"。由于数据存储在本地区域,该平台支持数据主权。
Cloudian首席技术官Neil Stobart表示:"通过将Cloudian的高性能S3兼容存储与AWS基于GPU的边缘基础设施相结合,我们让企业能够在距离最终用户毫秒级的范围内运行复杂的RAG应用,且无需前期投资。这大大加速了那些此前无法证明基础设施投资合理性的组织采用AI的步伐。"
应用示例包括:客户服务团队能更快速地访问产品文档以提供准确回应、现场技术人员实时检索维修程序,以及员工无需在嵌套文件系统中查找即可找到问题答案。
AWS本地区域将AWS基础设施扩展到更接近大都市区域的最终用户,实现对政府和医疗保健等行业至关重要的超低延迟应用。公共部门机构将其用于实时公民服务和应急响应系统,而健康科学领域则利用它们进行医学影像、远程医疗和需要即时数据处理及法规合规的患者监控。
AWS表示,其本地区域采用按需付费定价模式,可替代建设本地数据中心或签署托管合同。传统边缘AI数据中心部署需要在数据中心建筑外壳、GPU服务器、网络设备、存储以及电力和冷却方面进行大量资本投资,从规划到投产可能需要6-12个月。而本地区域设施可在不到一天,实际上只需几小时内完成设置。
AWS本地区域在全球35个大都市区域可用,精选地点提供用于AI工作负载的GPU加速实例。更多详细信息请访问AWS本地区域功能页面。
AIDP本地区域部署配备专为AI/ML工作负载构建的GPU驱动云服务器,具备多达八个Nvidia Hopper GPU和640GB GPU内存、第三代AMD EPYC处理器,以及3,200 Gbps弹性网络适配器(EFA)网络以实现横向扩展性能。Cloudian表示这实现了响应时间低于10毫秒的实时推理。这意味着那些因响应时间和/或数据主权原因需要在边缘位置进行AI推理,但无法承担完整边缘数据中心的组织,现在可以以更低成本获得推理能力。
其软件包括集成矢量数据库以及自动摄取、嵌入和索引多模态内容用于RAG部署的功能。
Q&A
Q1:AWS本地区域是什么?它有什么优势?
A:AWS本地区域是AWS的子区域服务点,拥有计算资源(包括GPU)、存储和精选AWS服务,位置比AWS区域数据中心更靠近大型人口中心。它能提供个位数毫秒级的超低延迟访问,采用按需付费模式,可在几小时内完成设置。
Q2:Cloudian的AI数据平台主要用于什么应用场景?
A:主要用于企业客户的文档检索增强生成(RAG),部署智能体来理解和推理存储在S3兼容格式中的完整文档、手册、报告和多媒体内容。应用场景包括客户服务、现场技术支持、员工信息查找等。
Q3:使用AWS本地区域相比传统边缘数据中心有什么好处?
A:传统边缘AI数据中心需要大量资本投资,从规划到投产需要6-12个月。而AWS本地区域采用按需付费模式,无需前期投资,可在几小时内完成设置,为无法承担完整边缘数据中心的组织提供更低成本的AI推理能力。
好文章,需要你的鼓励
技术无知正在阻碍全球经济增长。在关键利益相关者中,技术无知增长最快且影响最为严重。CIO必须了解利益相关者对技术的认知水平,通过提升其IT素养来实现技术的全部潜力。文章提出三个关键问题:用户是否理解日常使用的技术、用户是否清楚自己的技术需求、以及如何处理无法从技术变革中受益的利益相关者。
Character AI联合耶鲁大学开发的OVI系统实现了音视频的统一生成,通过"孪生塔"架构让音频和视频从生成之初就完美同步。该系统在5秒高清内容生成上显著超越现有方法,为多模态AI和内容创作领域带来突破性进展。
OpenAI宣布从11月4日开始向印度用户免费提供一年ChatGPT Go订阅服务。该计划月费不到5美元,于8月在印度推出,是OpenAI最实惠的付费订阅方案。印度拥有超过7亿智能手机用户,是OpenAI仅次于美国的第二大市场。ChatGPT Go提供比免费版本多10倍的使用量,包括生成回复、创建图像和上传文件功能。
这项由南洋理工大学研究团队开发的DragFlow技术,首次实现了在先进AI模型FLUX上的高质量区域级图像编辑。通过创新的区域监督、硬约束背景保护和适配器增强等技术,将传统点对点编辑升级为更自然的区域编辑模式,在多项基准测试中显著超越现有方法,为图像编辑技术带来革命性突破。