最近小编在整理戴尔科技集团的世博会新闻时,一则CCTV的报道吸引了我的注意。
视频中可以看到,这辆小车无需人工操作就可以自动行驶,当记者把一个障碍物放在小车前方时,它会自动进行规避。
面对戴尔展区各种高大上的产品和解决方案,记者唯独对一辆无人驾驶小车感兴趣?
只有一种原因可以解释
这辆小车不简单!
前工信部部长,现任全国政协经济委员会副主任李毅中来到戴尔展区,也参观起了无人驾驶小车
根据小编得到的线报,它的诞生是戴尔易安信大中华区集体智慧的结晶,多个团队人员参与了小车的研发工作,包括市场团队、卓越研发中心团队、售前团队、行业架构师团队、解决方案中心团队等等,从创意、设计、实施、到算法的开发和模型的训练,均由内部人员完成。
说起来,自动驾驶汽车最近几年一直是互联网公司或汽车公司在关注的事情,难道戴尔也要造车?
其实答案隐藏在记者说的最后一句话里:
“这辆无人驾驶小车的背后有一个更大的平台和产业链。”
我们知道,近几年无人驾驶汽车概念火热,科技公司如谷歌早早就把测试车开上了街道,传统汽车厂商也在纷纷跟进。不过,虽然整个产业一片热火朝天,但距离自动驾驶汽车真正获准上路还有很长的路要走。即便我们把法规、监管、伦理这些令人头疼的问题放在一边,摆在眼前的依然关山重重,比如在数据领域,就有数据存储、分析和归档这三座大山摆在眼前。
1 第一座大山,数据存储
无人驾驶汽车是对传统存储架构的一次颠覆。
当一辆自动驾驶测试车结束一天的工作时,它身上携带的声纳、雷达、GPS、摄像头等传感器将产生10TB-30TB的数据,而当下大部分公司的传统数据中心存储容量仅仅是几十个TB。这只是开始,更惊人的在后面。
在汽车工业领域,有一个如“五岳盟主”般的存在,它就是美国汽车工程师协会,简称SAE,这个协会制定的标准和规范是全球汽车工业发展的重要风向标。此前,SAE也针对汽车自动化等级做出了评定标准,分为6个等级。最低的0意味着驾驶员控制车辆的一切,而最高的5意味着自动驾驶系统可以处理所有可以被人类驾驶员处理的公路与环境状况。
据了解,今天自动驾驶的开发方向(SAE等级2-3)有一个典型的要求:为了充分完成高级驾驶辅助系统(ADAS)软件开发和验证,试验车队需要抓取20万公里到1百万公里的真实世界数据。举例来说,一个典型的SAE 2级ADAS项目,仅对于一个单一传感器而言,抓取以平均时速65km每小时行驶的20万公里,将产生超过3076小时的数据,需要大约3.8PB的存储。而SAE 3级ADAS项目,涉及抓取100万公里的驾驶,可以产生19.3PB的原始传感器数据
也就是说,即使是入门级的自动驾驶(SAE 3级),所需的数据量都以PB起步,而随着行业走向5级(完全自动化,车辆需要在真实世界抓取约2.4亿公里的数据,数据量大约在50-100EB。这意味着,当下绝大部分传统存储架构均不能适应无人驾驶汽车的发展要求。
2 第二座大山,数据导入和分析
通常,测试车行驶过程中采集的数据会被存储在车上的SSD当中,一天工作结束后,SSD中的数据会被复制到廉价存储介质(譬如磁带),然后快递运到某个使用高带宽的临时中转站。在那里,数据导入到数据中心——通常是一个分布式可横向扩展的海量并行文件系统。在那里这些数据需要进一步AI训练、仿真模拟测试以及Hadoop分析。
在这里,由于被测试车队抓取的传感器数据大多是非结构化数据,如视频(4K甚至12K视频)、声纳、雷达、激光雷达等。对于这些不断增长的非结构化数据,ADAS基础架构需要可以提供始终如一的高性能的存储,以便同时读取大量的原始流媒体数据——因为即使在仿真测试开始后,存储还要同时上传传感器数据。
同时,将这一TB级的数据进行迁移也是一个非常消耗时间和资源的过程,而这可能会导致从Hadoop分析工作中提取的决策产生重大延迟。
3 第三座大山,数据归档
自动驾驶汽车对安全的要求极为严苛,大多数汽车制造商不仅要求ADAS数据必须保留几十年,还要求数据必须随时可供恢复:例如,ADAS系统需要更新,或者一个硬件上的缺陷被发现了。同样重要的是,在将来因意外而发生的诉讼中,制造商可以提供按需获取所需数据,确定责任。
因此,这些汽车制造商都要求在几天内恢复PB级模拟环境的数据。此时,传统上用作归档的磁带存储显然无法胜任,因为数据无法在所需时间范围内恢复(同时也不可靠)。同样,虽然云存储提供了廉价,但在如此巨大的规模上,数据从云上导出的成本就变得令人望而却步。
? 所以,随着无人车沿着SAE规模发展,要解决这三座大山,突破传统的存储架构将变得非常必要。ADAS验证体系结构需要面向未来——存储容量能够线性且无中断地无缝升级、并且不影响存储性能,数据准备阶段需要密集的数据处理,这要求存储中的高性能和带宽需求能够读写流式原始视频数据和传感器这样非结构化数据。
在解决这三座大山的道路上,“把专业的事情交给专业的人来做”成为了各大汽车制造商及一级供应商的共识。而这个“专业人”就是戴尔科技集团,他们的选择出于两方面的考虑。
4 其一,独树一帜的Dell EMC Isilon
Dell EMC Isilon横向扩展NAS存储的可扩展性及简单性在市场上独树一帜,为ADAS行业的选择提供了完善的解决方案。
? 在数据存储问题上
Dell EMC Isilon能够充分满足ADAS基础架构要求,可在单个文件系统中从TB级扩展到PB级容量。容量可以在几分钟内添加到现有的Isilon卷中,没有停机时间,不会中断数据可用性,也不会降低性能。当面对高度并发的ADAS工作负载时,横向扩展体系结构和OneFS操作系统消除了传统存储解决方案所共有的性能瓶颈。
? 在数据分析和传输问题上
Isilon OneFS不仅支持通过NAS协议(如NFS3、NFS4、SMB2、SMB3和FTP)来访问数据,而且还可以通过HDFS协议(Hadoop分布式文件系统)来访问。通过将高效的存储平台与Hadoop集成起来,Isilon使ADAS开发人员能够加快分析海量数据,并在几分钟内获得结果。
同时,Isilon结合高性能存储、10/40GbE的网络连接和横向扩展架构,为ADAS的开发提供提供快速、并发的高性能数据连接。
? 在归档问题上
为了经济高效地满足测试数据十几年的归档保存,并且能快速进行数据恢复和再次进行仿真测试,Isilon的CloudPools功能能够支持数据分层。这个策略决定的自动分层解决方案允许根据项目的不同阶段,将数据与极佳价格/性能的存储层匹配。关键热数据(如正在使用的ADAS传感器数据)可以保存在更高性能的层上,而不那么重要的数据(如已经发布的车辆)可以放在更经济高效、更高密度的归档层。
当迫切需要恢复仿真测试环境时,存档的ADAS数据可以自动迁移回性能更高的数据层。每当开发团队需要检索数据时,都可以像以前一样访问它,而无需对策略和流程进行更改。
此外,Isilon在非结构化数据市场中久经验证,在Gartner最新发布的分布式文件系统和对象存储魔力象限报告中,Isilon与ECS云存储连续三年获得该魔力象限领导者,右上角遥遥领先,进一步印证了Isilon无可争议的实力。
Isilon满足了颠覆性的汽车行业存储解决方案的需求。其高性能、高并发性和大规模可扩展能力,正在无人驾驶汽车开发的进程中发挥着关键作用。
5 其二,戴尔科技集团整体实力
在未来,汽车不仅能自动驾驶,同时也将配备非常快速的互联网接入。车辆将需要通过边缘计算和网络,连接专用数据中心云和各种公有云,以便实时传输大量数据。汽车也将更多地由软件定义,并需要定期通过空中软件更新到汽车。这就需要不仅是Dell EMC提供的硬件基础架构,也需要戴尔科技集团旗下VMware、Pivotal这样的公司参与,提供从边缘计算到核心数据中心到云计算的创新产品组合。
在边缘领域,戴尔提供的瘦客户机、Gateways for IoT、工作站等设备能为更多的边缘计算做好准备。VMware提供的VDI、虚拟化以及VMware Pulse 物联网解决方案能为企业级 IoT 设备提供高效管理、运维、扩展和保护 IoT 项目。而Pivotal的大数据套件如GemFire、开源PaaS云平台Cloud Foundry,以及敏捷开发的方法也能帮助汽车公司更快实现数字化转型,加速软件迭代,优化乘车体验。
汽车工业正处于一个高度竞争的过渡期,各家厂商都在加大投入和时间赛跑,以期能率先冲突重围,获取市场主动权。同时,这也是试错成本很高的领域,任何一次失误都可能造成严重后果,影响研发进度。
戴尔科技集团作为一个独特的企业集团,能帮助汽车厂商及一级供应商提供从边缘计算到数据中心、再到云的基础架构,向着实现完全自动驾驶的终极目标而保驾护航。
好文章,需要你的鼓励
后来广为人知的“云上奥运”这一说法,正是从这一刻起走上历史舞台。云计算这一概念,也随之被越来越多的人所熟知。乘云科技CEO郝凯对此深有感受,因为在2017年春节过后不久,他的公司开始成为阿里云的合作伙伴,加入了滚滚而来的云计算大潮中。同一年,郝凯带领团队也第一次参加了阿里云的“双11”活动,实现了800万元的销售业绩。
随着各行各业数字化变革的不断深入,人类社会正加速迈向智能化。作为智能世界和数字经济的坚实底座,数据中心也迎来了蓬勃发展。面