汽车产业作为国民经济支柱产业之一,其在国民经济战略性支柱产业的地位是不可撼动的。在《“十四五”交通领域科技创新规划》中也提出,到 2025 年实现关键技术研发应用取得新突破,科技创新能力全面增强,创新环境明显优化三大总体目标。其中,明确了在运输服务领域,自动驾驶、智能航运、机场智能运行管控等技术在部分场景得到示范应用。
可见,智能化技术正悄然走进人们生活,自动驾驶也逐渐从 L1-L2 阶段,开始向 L3-L4 级别发展,众多整车厂和自动化驾驶算法系统开发厂商正在积极探索,力求占领行业第一位,拿到自动驾驶这把汽车未来市场宝藏的钥匙。
当前,在整体汽车自动化驾驶行业中,核心竞争力已经从车辆硬件转向自动驾驶决策“AI 大脑”。AI 训练只有在不断迭代更新的过程中,才能逐渐增长“见多识广”的能力,做出准确的判断。其中,提升 AI 自动驾驶算法迭代能力,可谓是各家厂商竞争对抗的关键能力。
实际上,影响 AI 迭代的核心关键主要是,算法设计和海量的数据。
海量有特征的训练数据是让 AI 具备认识世界的重要环节,从路测数据采集到数据中心的数据预处理、特征数据管理、训练、数据归档等一系列过程都需要高效衔接运行,只要其中一个环节不通畅,或者效率低就会导致整体业务效率下降。因此,AI 算法的竞争背后是 AI 算法内的海量数据竞争,如何完善数据流管理成为了自动化驾驶迭代的关键。

自动化驾驶业务流程图
在自动驾驶的发展过程中,数据正向着更复杂的方向发展,总结近几年的数据模式,可以发现数据具备以下特征:
数据多样性
根据不同自动驾驶级别,数据产生的来源不同。数据类别不仅包括了汽车基础数据,还包括基础设施、交通数据、地理信息数据,以及车主的大量用户身份类数据、用户状态数据、行为类数据等。
数据规模大
自动驾驶车辆作为跨产业技术的融合载体,融合了来自汽车、道路、天气、用户、智能计算系统等多方面的海量数据,涉及数据类型多,需要统计分析的数据总量大。
数据非结构性
数据多样性决定了不同来源的数据格式不同,数据的非结构性和非标准性对数据聚合或拆分技术,以及权限管理和安全存储都带来了巨大的挑战。
数据流动性
大量自动驾驶数据在用户端、车端、云端等多场景的交互,使得数据的流动性增大。
以上是自动化驾驶行业的业务数据特点,为进一步说明这些已知的特征,我们将以一家全球无人驾驶科技公司的解决方案为例,帮助大家了解焱融科技是如何构建该公司 IT 基础平台支撑其业务发展。
该全球无人驾驶科技公司是一家专注于 L4 级别无人驾驶卡车技术研发与应用的人工智能企业,具备感知、定位、决策、控制等无人驾驶核心功能,能够实现货运卡车在干线物流场景和半封闭枢纽场景下的全无人驾驶。
在该公司的整体业务流程中,包含数据预处理、特征数据管理、训练、归档等多个环节,原始数据需要经过众多环节处理,才能成为业务要求的特征化数据。在使用 YRCloudFile 之前,该公司管理数据的方式是采用割裂式的方式,比如:
数据预处理,使用大容量存储
特征数据管理,使用高性能存储
训练阶段,使用高性能存储
归档阶段,使用大容量存储
如此频繁更改数据存储方式是因为整体业务亟需应对性能和成本的要求。但割裂的数据存储管理方式极易产生数据流程的直接成本、时间成本、运维压力,同时还会涉及到本地数据和算力配合,云端数据和算力配合的跨云需求等等,而这些成本、压力和需求最终会直接影响产品和业务的发展效率。
焱融科技充分了解到该公司全业务流程存储管理的痛点以后,根据自身在行业多年的AI 自动化驾驶领域存储经验,提出了“混合云存储”解决方案。通过路测取回的原始数据作为共享母版的方式,搭建本地到云端的跨云架构方案,将原先数据流向“大容量存储-高性能存储-大容量存储”的拷贝方式,通过 YRCloudFile DataLoad 技术实现统一管理,按照业务发展需要按需流转,自动化管理,彻底摒弃传统人工或者脚本管理运维的原始方式。
YRCloudFile 通过将数据预处理、特征数据管理、训练、归档业务环节串联起来,达到了真正意义上的流管理方式,使得数据随业务在系统内部流动,单阶段性能比传统架构提升 7 倍左右,实现在数据预处理阶段,计算集群通过向低成本的对象存储读取数据进行业务开展,读取后通过文件层加速,实现后续工作。

YRCloudFile 跨云多源整合业务流程图
在数据预处理阶段,原始数据经过低成本低性能的传统存储到达数据预处理计算集群,随着业务访问存储的并发量在不断上升,从几个到几十个,持续时长随业务变化,这就给存储带来了较大压力,因为每个数据预处理的带宽都比较大,而且是大文件和小文件混合模式,所以对于底层存储的性能是一个考验。
性能监测传统存储支撑性能最大约为3GB/s,数据预处理环节使存储性能问题成为业务发展的第一个短板,亟需解决。
在使用 YRCloudFile 作为文件层,向下对接对象层后,开启 YRCloudFile DataLoad 功能,同样在数据预处理环节中,性能监测反馈可满载运行 60 个数据预处理任务,20GB/s 的带宽量,前端计算带宽基本打满,此时相较于传统存储,采用 YRCloudFile DataLoad 后性能提升 7 倍左右。而大量素材是通过 YRCloudFile DataLoad 进行了多源整合和加速,并未改变原始数据的存储方式,从性能和成本、管理都得到了很好的平衡,关键实现了业务效率的极大提升。

数据预处理业务并发对比图
另外,数据在进入预处理存储后,就开始了由 YRCloudFile 统一命名管理,实现了数据随业务发展流动,除了能让上文提到的数据预处理环节实现降本增效,还可以帮助后续环节中的多个业务环节利用 YRCloudFile DataLoad 技术功能来提升性能。
例如在生产环节,相比全量提取对比数据的办法,YRCloudFile 采用 DataLoad 技术,可以按需读取生产数据对比数据进行测试,从整体时效性上,具备秒级响应特征,对比传统全量拷贝方式,业务效率提升巨大。
在帮助客户实现业务数据多源整合的同时,YRCloudFile 还通过分层技术功能让客户落地了本地到云端的同步双活方案,达成了业务连续性的要求,并最大化降低 TCO。具体架构如下:

YRCloudFile 分层双活业务架构
在本地算力端部署 YRCloudFile,满足业务加速要求的同时,向下开启对象接口,通过 YRCloudFile 全生命周期管理策略,按照周期管理将冷热数据分开,冷数据自动下刷至对象存储,热数据在 YRCloudFile 的文件层,保障性能稳定和平衡成本支出。在业务调取冷数据时,可以通过透明调取的方式,按照 YRCloudFile 统一命名空间管理。
在此基础上,YRCloudFile 对接云上对象存储,将按照数据生命周期管理的策略,把本地下刷至对象存储的数据同步上传到云上对象存储,实现本地和云端对象存储数据同步。如若业务需要读取冷数据时,YRCloudFile 会根据读取指令将优先读取本地存储目标数据和切片返回给业务端,采用云端不读取的方式,节约数据成本。当本地对象故障时,冷数据同步在云端,那么 YRCloudFile 会检测数据位置,读取云端数据和切片返回给计算。以此来整体保障业务连续性,避免因网络、站点等产生的故障问题。
通过 YRCloudFile DataLoad 技术和多级分层技术,该公司的存储成本直接下降 300% 且性能提升 500%以上,实现在全业务流程中,数据存储的管理对于业务是完全透明的。这也意味着,无论数据如何变动,业务端都无需“操心”。包括归档以后,也是由 YRCloudFile 全生命周期统一管理,达到“跨云多源数据管理”能力。
该公司在采用高性能分布式文件存储 YRCloudFile 的方案后,打破了传统存储的壁垒,全面提升了数据整合能力,并在业务实际使用过程中,配合完善的运维能力,提升整体可维护使用能力,真正做到“最懂自动化驾驶业务的存储系统”。目前,焱融科技已经帮助该公司建立多个数据中心和跨云整体混合云平台,有效优化业务流程,提升整体业务效率。
我正在使用i18n从头开始构建一个多语言网络应用程序,虽然我自己可以处理一大堆yml文件,但我说的语言(非常)有限,最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器,其中一些翻译器不愿意或无法处理存储库中的100多个文件,处理语言数据。谢谢&问候,安德拉斯(如果您已经在rubyonrails-talk上遇到了这个问题,我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我安装了ruby版本管理器,并将RVM安装的ruby实现设置为默认值,这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时,它使用安装在/usr/bin中的ruby。有没有办法让emacs像shell一样尊重ruby的路径?谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣,可以在这里获取:http://github.com/senny/rvm.el
是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式? 最佳答案 您可以像这样为日期选择器提供额外的选项,而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义,我们在StackOverflow上找到一个类似的问题: https://s
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
我正在编写一个简单的静态Rack应用程序。查看下面的config.ru代码:useRack::Static,:urls=>["/elements","/img","/pages","/users","/css","/js"],:root=>"archive"map'/'dorunProc.new{|env|[200,{'Content-Type'=>'text/html','Cache-Control'=>'public,max-age=6400'},File.open('archive/splash.html',File::RDONLY)]}endmap'/pages/search.
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co