草庐IT

带你了解CANN的目标检测与识别一站式方案

华为云开发者社区 2023-03-28 原文
摘要: 了解通用目标检测与识别一站式方案的功能与特性,还有实现流程,以及可定制点。

本文分享自华为云社区《玩转CANN目标检测与识别一站式方案》,作者: Tianyi_Li。

背景介绍

目标检测与识别是计算机视觉领域中的关键技术,随着深度学习技术的发展,目标检测与识别的应用场景也越来越广泛。当前, 主要有以下几个应用场景:

安全领域:指纹识别、物体识别等。

交通领域:车牌号识别、无人驾驶、交通标志识别等。

医疗领域:心电图、B超、健康管理、营养学等。

生活领域:智能家居、智能购物、智能测肤等。

但当前人工智能应用开发面临着开发周期长、AI软件栈理解成本高、算法模型与业务结合难度高、对开发人员技能要求高等门槛。为了降低AI应用开发的门槛,昇腾CANN开源了高性能的通用目标检测与识别一站式方案,通过其强大的可定制、可扩展性,旨在为AI开发者们提供更好的编程选择。

特别提示,如果您具有以下知识储备,将有助于学习:

  1. 具有C&C++编程经验。
  2. 了解异构计算架构CANN在昇腾AI全栈中的位置和作用。
  3. 了解应用编程框架AscendCL的关键特性,并能够基于AscendCL接口开发简单的AI应用。

目标

  1. 了解通用目标检测与识别一站式方案的功能与特性
  2. 了解ACLlite的背景及接口使用方法
  3. 深入了解通用目标检测与识别一站式方案的实现流程
  4. 能够基于此方案定制自己的AI应用

目标检测与识别一站式方案介绍

方案特性

点此detect_and_classify,可查看方案源代码。

方案整体特性概括如下:

1.支持多格式输入和输出

通用目标检测和识别一站式方案支持图片、离线视频、RTSP视频流等多输入格式,开发者可基于此方案实现对图片和视频等不同格式的目标进行识别。另外在结果展示方面,支持图片、离线视频、Web前端等多形式展现,开发者可根据业务场景灵活呈现识别结果。

2.支持轻松替换和串接模型

该方案当前选用的是YoloV3图片检测模型与CNN颜色分类模型的串接,可实现基本的车辆检测和车辆颜色识别,开发者可轻松修改程序代码,自行替换/增加/删除AI模型,实现更多AI功能。

3.支持高效数据预处理

图片、视频等各类数据是进行目标检测和识别的原料,在把数据投入AI算法或模型前,我们需要对数据进行预加工,才能达到更加高效和准确的计算。该样例采用独立数据预处理模块,支持开发者按需定制,高效实现解码、抠图、缩放、色域转换等各种常见数据处理功能。

4.支持图片数、分辨率可变场景定制

在目标检测和识别领域,开发者们除了需要应对输入数据格式等方面差异,还会经常遇到图片数量、分辨率不确定的场景,这也是格外头疼的问题之一。比如,在目标检测和识别过程中,由于检测出的目标个数不固定,导致程序要等到图片攒到固定数量再进行AI计算,浪费了大量宝贵的AI计算资源。该样例开放了便捷的定制入口,支持设置多种数据量Batch档位、多种分辨率档位,在推理时根据实际输入情况灵活匹配,不仅扩宽了业务场景,更有效节省计算资源,大大提升AI计算效率。

5.支持多路多线程高性能编程

为了进一步提高编程的灵活性,满足开发者实现高性能AI应用,该样例支持通过极为友好和便捷的方式调整线程数和设备路数,极大降低学习成本,提升设备资源利用率。

6.高效后处理计算

除此之外,该样例后续还会将原本需要在CPU上进行处理的功能推送到昇腾AI处理器上执行,利用昇腾AI处理器强大的算力实现后处理的加速,进一步提升整个AI应用的计算效率。

实现流程

该样例使用了图片检测模型与颜色分类模型,基于CANN AI应用编程接口,对数据预处理、模型推理、模型后处理等AI核心计算逻辑进行模块化组装,实现了车辆检测和车身颜色识别基础功能,以输入图片是JPEG压缩图片为例,该样例功能流程如下所示:

  1. 首先输入图片送入Device的DVPP进行数据预处理,因为模型的输入要求是非压缩的、指定编码格式的图片,所以首先使用DVPP进行图片的解码操作,解码后格式为YUV420SP_U8。
  2. 由于图片的大小与模型要求的大小不一致,解码后我们使用DVPP的VPC功能进行大小的调整。
  3. 经过前面的一系列处理后,输入到模型的编码格式YUV420SP_U8仍与模型要求不一致,此时我们可以在模型转换时通过AIPP的色域转换功能实现格式转换,将YUV420SP_U8格式转换为模型要求的BGR格式,这里的色域转换功能其实就相当于在模型中添加了一个色域转换算子,直接在模型推理前实现了编码格式的转换,而无需代码层面的修改。
  4. 检测模型推理后的结果就可以送入模型后处理模块,后处理模块根据业务流程需要,进行检测坐标点的存储。
  5. 下一步,就是将检测坐标点以及前面预处理后的YUV图片,一起送入分类模型的预处理模块,首先根据检测结果的坐标点信息对输入的图片进行抠图,然后再将其缩放为分类模型要求的大小。
  6. 由于颜色分类模型要求的图片编码格式是RGB,同前面的检测模型一样,需要使用AIPP的色域转换功能,在模型推理前将YUV转换为RGB。
  7. 最后对分类模型推理后的结果进行处理,在图片上进行画框,标注结果,并根据用户的输出要求进行存储或者在线展示。

快速体验

下面介绍让样例快速跑起来,了解通用目标检测与识别一站式方案的总体编译运行流程,主要是:

  1. 输入/输出数据都为图片,其中输入数据请选择jpeg格式的图片
  2. 使用1个Device运行

准备环境

这里不做过多介绍,使用的是ECS + 官方推送的镜像,很简单就能搞定了,需要注意的是环境准备好后,请以HwHiAiUser用户体验如下任务。HwHiAiUser用户下已经配置好了环境变量,安装好了应用所需基本依赖。

编译运行样例

因为镜像已经做好了配置,可以直接下载样例,模型与数据,直接编译运行即可。详细步骤如下:

步骤 1 :下载samples源码仓。

此处已将samples仓下载到$HOME路径下为例, 可以使用以下两种方式下载,请选择其中一种即可

【命令行下载】

cd ${HOME}
git clone https://gitee.com/ascend/samples.git

【压缩包下载】

a. 在samples仓右上角选择【克隆/下载】下拉框,并选择【下载ZIP】。

b. 将ZIP包以HwHiAiUser用户上传到开发环境的普通用户家目录中。

例如:${HOME}/ascend-samples-master.zip

c. 执行以下命令,解压缩zip包。

cd ${HOME}
unzip ascend-samples-master.zip

步骤 2 : 准备模型及数据。

请参见README中的模型及数据准备章节。

步骤 3 : 样例编译运行。

请参见README中的样例编译运行章节。

【说明】

  1. 输入/输出数据都要求为图片,其中输入数据请选择jpeg格式的图片
  2. 使用1个Device运行

结果输出

如下图所示,左图为运行的打印输出,右图为输出的推理结果图片:

此外,还支持多种输入输出模式:

根据官方的测试,单device最多支持22路,在输入分辨率1280 * 720的视频下,单帧图像处理耗时20ms,每秒最大处理帧数为50帧。

结语

本次的CANN目标检测与识别一站式方案总体流程图如下图所示,

方案中大量使用了线程,多路线程分别进行数据流转和协同合作,以单device为例,线程关系如下图所示:

此外,还支持定制开发,开发者可根据需要,自行添加包括但不限于如下功能:

详细的操作位置如下图所示,具体可参考本方案代码库的README:

好了,最后奉上本方案代码库的获取方式,如下图所示,当然,也可以点击在前文中咱们提供的链接。

 

点击关注,第一时间了解华为云新鲜技术~

有关带你了解CANN的目标检测与识别一站式方案的更多相关文章

  1. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  2. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样?我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用,需要1秒才能返回,我有100,000多个页面要访问,所以我试图运行多个线程来解决这个问题。有更好的方法吗?classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  3. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  4. [Vuforia]二.3D物体识别 - 2

    之前说过10之后的版本没有3dScan了,所以还是9.8的版本或者之前更早的版本。 3d物体扫描需要先下载扫描的APK进行扫面。首先要在手机上装一个扫描程序,扫描现实中的三维物体,然后上传高通官网,在下载成UnityPackage类型让Unity能够使用这个扫描程序可以从高通官网上进行下载,是一个安卓程序。点到Tools往下滑,找到VuforiaObjectScanner下载后解压数据线连接手机,将apk文件拷入手机安装然后刚才解压文件中的Media文件夹打开,两个PDF图打印第一张A4-ObjectScanningTarget.pdf,主要是用来辅助扫描的。好了,接下来就是扫描三维物体。将瓶

  5. ruby-on-rails - 在 heroku 的 .fonts 文件夹中包含自定义字体,似乎无法识别它们 - 2

    Heroku支持人员告诉我,为了在我的Web应用程序中使用自定义字体(未安装在系统中,您可以在bash控制台中使用fc-list查看已安装的字体)我必须部署一个包含所有字体的.fonts文件夹里面的字体。问题是我不知道该怎么做。我的意思是,我不知道文件名是否必须遵循heroku的任何特殊模式,或者我必须在我的代码中做一些事情来考虑这种字体,或者如果我将它包含在文件夹中它是自动的......事实是,我尝试以不同的方式更改字体的文件名,但根本没有使用该字体。为了提供更多详细信息,我们使用字体的过程是将PDF转换为图像,更具体地说,使用rghostgem。并且最终图像根本不使用自定义字体。在

  6. ruby-on-rails - 没有这样的文件或目录 - 用 Mini Magick 识别 - 2

    在我让另一个人重做我的前端UI之前,我的Rails应用程序运行平稳。我已经尝试解决此错误3天了。这是错误:Nosuchfileordirectory-identifyExtractedsource(aroundline#59):575859606162@post=Post.find(params[:id])authorize@postif@post.update_attributes(post_params)flash[:notice]="Postwasupdated."redirect_to[@topic,@post]else{"utf8"=>"✓","_method"=>"patc

  7. ruby - 了解在 Ruby 中与 lambda 一起使用的 inject 行为 - 2

    我经常将预配置的lambda插入可枚举的方法中,例如“map”、“select”等。但是“注入(inject)”的行为似乎有所不同。例如与mult4=lambda{|item|item*4}然后(5..10).map&mult4给我[20,24,28,32,36,40]但是,如果我制作一个2参数lambda用于像这样的注入(inject),multL=lambda{|product,n|product*n}我想说(5..10).inject(2)&multL因为“inject”有一个可选的单个初始值参数,但这给了我......irb(main):027:0>(5..10).inject

  8. Ruby 守护进程和 JRuby - 备选方案 - 2

    我有一个应用程序正在从Ruby迁移到JRuby(由于需要通过Java提供更好的Web服务安全支持)。我使用的gem之一是daemons创建后台作业。问题在于它使用fork+exec来创建后台进程,但这对JRuby来说是禁忌。那么-是否有用于创建后台作业的替代gem/wrapper?我目前的想法是只从shell脚本调用rake并让rake任务永远运行......提前致谢,克里斯。更新我们目前正在使用几个与Java线程相关的包装器,即https://github.com/jmettraux/rufus-scheduler和https://github.com/philostler/acts

  9. ruby-on-rails - 如何测试自己对 Ruby/ROR 的了解? - 2

    是否有self验证的问题列表。看着那个,我可以确定我知道。我应该复习一下。在学习的过程中,我列了一个这样的list,但它只包含我在某处听说过的项目。我需要一段时间才能找到新的东西。 最佳答案 以下是针对ruby​​和Rails的一些测试列表。证书名称:RubyonRails谁提供:oDeskIncorporation认证费用:免费网站:https://www.odesk.com/tests/985?pos=0证书名称:RubyonRails提供者:Techgig.com(TimesBusinessSolutionsLimited(T

  10. ruby-on-rails - 了解 "attribute_will_change!"方法 - 2

    我想覆盖store_accessor的getter。可以查到here.代码在这里:#Fileactiverecord/lib/active_record/store.rb,line74defstore_accessor(store_attribute,*keys)keys=keys.flatten_store_accessors_module.module_evaldokeys.eachdo|key|define_method("#{key}=")do|value|write_store_attribute(store_attribute,key,value)enddefine_met

随机推荐