下面的场景
身为IT部门经理的你
是否正在遇到?
“陈工,我是祝工,上次你们推荐的Isilon存储我们现在已经上线了,使用比较简单,体验也很好,我们现在数据量非常大,后期扩展和设备更新也省去了我数据迁移的麻烦,这个点解决了我多年心中的痛啊,现在晚上终于能安心睡个好觉了。”
“祝工,你满意就好,听到你这么说,我也非常有成就感,现在是不是有什么新的问题啊?”
“你懂我,哈哈!其实是这样的,我现在碰到了一个比较头疼的问题,除了Isilon外,其实我们还有4套数据量比较大的文件存储,主要存储项目组文档资料、合同扫描件、发票税控图片、OA的附件,很多人事资料(包含离职人员档案)、内部培训视频、APP应用图片数据,大大小小加起来也有小300T。”
“这是要上新存储的节奏啊!”
“不不不,陈工,你先冷静一下,目前的主要问题不是存储容量和性能,现在应用部门经常会找我要这些数据报表,查找某些数据在哪个物理存储上,或者说部分应用数据因性能问题,需要从一台存储迁移到另一台存储,这样的问题很多,而且短期内我也不可能采购一套海量存储,把所有数据迁移到一台存储上,还有招标规范性问题,也不能只招一个品牌存储......”
?前面就是我(戴尔科技售前工程师陈森江)最近和用户电话交流的一个真实场景。
听完之后,我和他总结了一下,其实祝工的核心需求是一个大量文件类数据的统一管理平台,即多台异构存储上的数据,在逻辑上有一个统一管理,同时不影响原来物理数据存储架构,还可以给领导看报表,帮助应用快速查找数据,还要在不同物理存储之间实现数据的快速迁移。
怎么办呢?
我推荐的是戴尔科技的DataIQ
DataIQ前身是Data Frameworks的Clarity Now,2018年被戴尔科技收购后,经过几个版本的更新,现被更名为DataIQ。
DataIQ是一个纯软件的异构存储管理平台,而且以旁路方式接入用户环境,它的整个安装、部署、测试使用等工作都不会影响用户目前的业务和生产。
所以,用户可以在任何时候安装部署DataIQ。
DataIQ主要有三个功能:
接下来,我们简单看一下
DataIQ的架构与应用场景
在拓扑架构上,DataIQ本身是部署在Linux上的一台Server,支持S3、NFS、CIFS(SMB)和本地挂载。
简单来说,无论是哪个品牌的存储、哪种型号,只要通过S3、NFS、CIFS(SMB)协议,以及本地挂载被DataIQ所在的Linux Server挂载(mount),都能被DataIQ进行统一管理,用户也不用担心招标采购结果是哪家存储。
在配置过程中,只要被管理的存储开通一个账号给DataIQ Server即可,之后DataIQ Server会扫描并创建索引。如果用户只想做数据快速搜索、数据报表,那么存储端需要开通一个只读账号;如果要在不同存储(如NAS存储到对象存储)之间做数据迁移,那么存储给DataIQ Server挂载的账号需要赋予读写权限。
而访问DataIQ Server的客户端可以是Windows Client/Linux Client/MacOS client,在访问方式上可以通过Web浏览器、GUI客户端,也支持CLI命令行接口,以及Python API和Direct RESTful API访问。
如果用户的一些应用是基于Python的,那么很多数据查询,报告甚至数据迁移的工作都可以由应用程序自动完成,可以大大减轻IT管理员的日常数据管理工作量。
最后,我们来看一看DataIQ的三个典型应用场景,也许其中就有适合你的:
01左中括号应用场景一:数据搜索左中括号
就如前面我们的客户祝工提到的一样,应用管理员发现他们其中一个应用的部分数据的延时非常高,他们想知道是不是存储这部分数据的存储,是性能有问题或有其它故障类原因,于是第一时间找到了祝工,给他一些示例数据。
然而要在4套存储中快速找到这些数据所在路径,并不是容易的事。你需要4套存储不同用户的数据一套套挂载查看、搜索,而且在上亿数量的文件中搜索你想要的其中几个文件,效率是非常低的。
但是有了DataIQ,结果就完全不同了,祝工只需在DataIQ中搜索,几秒种就能出结果。
这到底是如何做到的?
DataIQ通过RocksDB将所有存储上的非结构化数据形成索引,并将索引cache到内存中,以实现快速搜索。在一些用户的测试中我们发现,在一个60亿文件数量级的场景(后端存储以SAS或NL-SAS为主),如果通过DataIQ去搜索一个文件名,仅需要10-20秒就可以出结果。但是如果普通的Search方式,可能需要几十天才能完成,还不能完成全局搜索,要分目录搜索。
所以,结合DataIQ实际使用中更加丰富的数据搜索的条件,使用起来更加的丰富与实用。
DataIQ界面图
02左中括号应用场景二:快速报表左中括号
在一项项目需求中,IT管理员也经常会被领导或应用开发人员问到:
… …
在使用DataIQ之前,存储管理员可能需要通过各种第三方工具或存储管理工具进行熬夜统计,工作琐碎复杂,但是使用DataIQ这些都是能够自动去完成。
03左中括号应用场景三:数据迁移左中括号
在我们日常存储与数据的运维管理中,因存储硬件性能问题、存储生命周期结束或数据归档等场景中,IT管理人员都会面临大量的数据迁移工作,甚至因为应用与IT存储管理人员之间看问题重点的不同,导致双方对立的情况也经常会出现。
这些问题在DataIQ的帮助下同样可以很好解决。
IT管理员可以通过DataIQ分配一个专用的超级用户给应用开发或维护人员,同时根据需求分配好空间使用权限,如高负载应用分配2T全闪空间(如基于戴尔易安信Isilon F800),低负载分配5T SAS空间(如基于戴尔易安信Unity 480),而归档或冷数据分配30T对像存储空间(如戴尔易安信ECS),这样应用人员可以根据应用的需求自己进行数据的迁移与归档。
这些操作完全不需要接触后端的物理存储,存储管理员只需要做好硬件资源的规划与维护,大大降低了IT存储管理员的工作量与责任。
DataIQ对数据迁移支持的对像也非常丰富,可以支持NAS存储之间的迁移,也可能从NAS到S3(反之亦然),也可以从NAS到amazon等。
DataIQ就是这样一款纯软件的、旁路的异构存储管理平台(任何时候都不影响生产环境),对戴尔易安信存储空间的管理完全是免费的(非戴尔科技存储仅按容量收费),这对用户来说,完全是一个增值服务,你还等等什么呢?
如果您有任何问题
欢迎在下方留言
也可以点击文末阅读原文
进入官网详细了解
尊敬的读者
随着2021新年的到来
戴尔科技开年第一“惠”盛情来袭
助企业新的一年牛气冲天!
多款服务器、工作站、商用笔记本
等产品限时优惠
更有0元试用、现金红包
等活动等你来参与
快来扫描下方二维码
或点击文末阅读原文
了解活动详情
相关内容推荐:新品:PowerScale里的DataIQ
好文章,需要你的鼓励
邻里社交应用Nextdoor推出重新设计版本,新增本地新闻、实时警报和名为"Faves"的AI功能,用于发现本地商户和地点。该应用与3500家本地出版商合作提供新闻内容,通过Samdesk和Weather.com提供天气、交通、停电等实时警报。Faves功能利用15年邻里对话数据训练的大语言模型,为用户提供本地化AI推荐服务,帮助用户找到最佳餐厅、徒步地点等本地信息。
Skywork AI推出的第二代多模态推理模型R1V2,通过创新的混合强化学习方法,成功解决了AI"慢思考"策略在视觉推理中的挑战。该模型在保持强大推理能力的同时有效控制视觉幻觉,在多项权威测试中超越同类开源模型,某些指标甚至媲美商业产品,为开源AI发展树立了新标杆。
英国生物银行完成了世界上最大规模的全身成像项目,收集了10万名志愿者的超过10亿次扫描数据,用于研究人体衰老和疾病过程。该项目历时11年,每次扫描耗时5小时,投资6200万英镑。目前已有8万人的成像数据供全球研究人员使用,剩余数据将于年底前发布。项目已开发出能预测38种常见疾病的AI工具,并在心脏病、痴呆症和癌症诊断方面取得突破。
这项由北京大学等多所高校联合完成的研究,首次对OpenAI GPT-4o的图像生成能力进行了全面评估。研究团队设计了名为GPT-ImgEval的综合测试体系,从文本转图像、图像编辑和知识驱动创作三个维度评估GPT-4o,发现其在所有测试中都显著超越现有方法。研究还通过技术分析推断GPT-4o采用了自回归与扩散相结合的混合架构,并发现其生成图像仍可被现有检测工具有效识别,为AI图像生成领域提供了重要的评估基准和技术洞察。