草庐IT

ModelBox开发体验:使用YOLOv3做口罩检测

华为云开发者社区 2023-03-28 原文
摘要:本案例将在ModelBox中使用YOLO v3模型,实现一个简单的口罩检测应用

本文分享自华为云社区《ModelBox开发体验Day05开发案例-使用YOLOv3做口罩检测》,作者: 孙小北。

  • 本案例将使用YOLO v3模型,实现一个简单的口罩检测应用
  • 代码:https://github.com/sunxiaobei/modelbox_gallery
  • 代码tag:v1.5 mask_det_yolo3,v1.5.1 mask_det_yolo3_camera

开发准备

  • 开发环境安装和部署,前面环境已完成
  • 模型训练,ModelArts训练模型
  • 模型转换,代码模型已完成转换

应用开发

打开VS Code,连接到ModelBox sdk所在目录或者远程开发板,开始进行口罩检测应用开发。

(1)创建工程

使用create.py创建mask_det_yolo3工程, 将会创建出一个空的ModelBox样例工程。

./create.py -t server -n mask_det_yolo3
git add .
git commit -m 'create mask_det_yolo3'

(2)创建推理功能单元

AI应用的核心是模型推理部分,我们用如下命令创建推理功能单元,该模块将会创建在工程目录的model文件夹下:

./create.py -t infer -n mask_infer -p mask_det_yolo3
git add .
git commit -m 'create mask_infer'

将资源包中model/mask_infer文件夹中的模型和配置文件拷贝到口罩检测工程的model/mask_infer目录下。其中yolo3_resnet18_mask_det_288x512-rknpu2.rknn是转换好的rknn模型,mask_infer.toml是该模型的ModelBox功能单元配置文件,其内容如下:

# Copyright (c) Huawei Technologies Co., Ltd. 2022. All rights reserved.
[base]
name = "mask_infer"
device = "rknpu"
version = "1.0.0"
description = "your description"
entry = "./yolo3_resnet18_mask_det_288x512-rknpu2.rknn"  # model file path, use relative path
type = "inference"
virtual_type = "rknpu2" # inference engine type: rockchip now support rknpu, rknpu2(if exist)
group_type = "Inference"  # flowunit group attribution, do not change
is_input_contiguous = "false" # rk do not support memory combine, fix, do not change
[input]
[input.input1]
name = "data"
type = "uint8"
device = "rknpu"
[output]
[output.output1]
name = "yolo/output1"
type = "float"
[output.output2]
name = "yolo/output2"
type = "float"
[output.output3]
name = "yolo/output3"
type = "float"

可以看到该模型有3个输出节点,即YOLO v3模型输出的3个feature map,需要从中解码出检测框。

(3)创建后处理功能单元

后处理功能单元负责从模型推理结果中解码出检测框,我们用如下命令创建该功能单元,其将会创建在工程目录的etc/flowunit文件夹下:

./create.py -t python -n yolo3_post -p mask_det_yolo3

将common资源包中etc/flowunit/yolo3_post文件夹中的代码和配置文件拷贝到口罩检测工程的同名目录下,解码过程的核心逻辑在yolo3_utils.py文件中,可以查阅YOLO v3模型细节阅读代码。

(4)创建画图功能单元

得到检测框后可以画在原图上进行输出展示,我们用如下命令创建画图功能单元:

./create.py -t python -n draw_mask_bbox -p mask_det_yolo3

将common资源包中etc/flowunit/draw_mask_bbox文件夹中的代码和配置文件拷贝到口罩检测工程的同名目录下,画图的核心逻辑在draw_mask_bbox.py文件的draw_mask_info函数中:

def draw_mask_info(self, image, bboxes):
 '''在图中画出口罩佩戴信息'''
        thickness = 2
 font_scale = 1
 text_font = cv2.FONT_HERSHEY_SIMPLEX
 for bbox in bboxes:
 label_index = int(bbox[5])
 if self.labels[label_index] != 'head':
 continue
 x_min, y_min, x_max, y_max = bbox[0], bbox[1], bbox[2], bbox[3]
 face_bbox = self.find_max_cover_bbox(
 bbox, bboxes, 'face', self.face_cover_ratio)
 if not face_bbox:
                cv2.rectangle(image, (x_min, y_min),
 (x_max, y_max), (255, 255, 0), thickness)
                cv2.putText(image, 'unknown', (x_min, y_min-20),
 text_font, font_scale, (255, 255, 0), thickness)
 continue
 mask_bbox = self.find_max_cover_bbox(
 face_bbox, bboxes, 'mask', self.mask_cover_ratio)
 if not mask_bbox:
                cv2.putText(image, 'no mask', (x_min, y_min-20),
 text_font, font_scale, (255, 0, 0), thickness)
                cv2.rectangle(image, (x_min, y_min),
 (x_max, y_max), (255, 0, 0), thickness)
 else:
                cv2.putText(image, 'has mask', (x_min, y_min-20),
 text_font, font_scale, (0, 255, 0), thickness)
                cv2.rectangle(image, (x_min, y_min),
 (x_max, y_max), (0, 255, 0), thickness)
                cv2.rectangle(image, (mask_bbox[0], mask_bbox[1]),
 (mask_bbox[2], mask_bbox[3]), (0, 255, 255), thickness)
 return image

针对每个人,该模型会尝试检测出head(头肩部)、face和mask三个检测框。如果face检测框与mask检测框的重合度大于某个阈值,就判为佩戴口罩;否则,就判为没有佩戴口罩;如果没有检测到face检测框,就会显示Unknown,表示未知。

(5)修改流程图

模型推理和配套的功能单元准备好后,我们就可以串联出流程图进行测试了,口罩检测工程默认在graph目录下生成了mask_det_yolo3.toml,我们参考资源包中的graph/mask_det_yolo3.toml将其修改为:

# Copyright (c) Huawei Technologies Co., Ltd. 2022. All rights reserved.
[driver]
dir = ["${HILENS_APP_ROOT}/etc/flowunit",
"${HILENS_APP_ROOT}/etc/flowunit/cpp",
"${HILENS_APP_ROOT}/model",
"${HILENS_MB_SDK_PATH}/flowunit"]
skip-default = true
[profile]
profile=false
trace=false
dir=""
[graph]
format = "graphviz"
graphconf = """digraph mask_det_yolo3 {
    node [shape=Mrecord];
 queue_size = 4
 batch_size = 1
    input1[type=input,flowunit=input,device=cpu,deviceid=0]
 data_source_parser[type=flowunit, flowunit=data_source_parser, device=cpu, deviceid=0]
 video_demuxer[type=flowunit, flowunit=video_demuxer, device=cpu, deviceid=0]
 video_decoder[type=flowunit, flowunit=video_decoder, device=rknpu, deviceid=0, pix_fmt=bgr]
 image_resize[type=flowunit, flowunit=resize, device=rknpu, deviceid=0, width=512, height=288]
 mask_detection[type=flowunit, flowunit=mask_infer, device=rknpu, deviceid=0]
    yolo3_post[type=flowunit, flowunit=yolo3_post, device=cpu, deviceid=0]
 draw_mask_bbox[type=flowunit, flowunit=draw_mask_bbox, device=cpu, deviceid=0]
 video_out[type=flowunit, flowunit=video_out, device=rknpu, deviceid=0]
    input1:input -> data_source_parser:in_data
 data_source_parser:out_video_url -> video_demuxer:in_video_url
 video_demuxer:out_video_packet -> video_decoder:in_video_packet
 video_decoder:out_video_frame -> image_resize:in_image
 image_resize:out_image -> mask_detection:data
 mask_detection:"yolo/output1" -> yolo3_post:in_feat1
 mask_detection:"yolo/output2" -> yolo3_post:in_feat2
 mask_detection:"yolo/output3" -> yolo3_post:in_feat3
 video_decoder:out_video_frame -> draw_mask_bbox:in_image
    yolo3_post:out_data -> draw_mask_bbox:in_bbox
 draw_mask_bbox:out_image -> video_out:in_video_frame
}"""
[flow]
desc = "mask_det_yolo3 run in modelbox-rk-aarch64"

该流程图对于某个视频流,经过视频解码、图像缩放、口罩检测推理、检测框后处理、画图等一系列操作后,将结果保存下来。

然后,参考common资源包中mock_task.toml,将口罩检测工程的任务配置文件bin/mock_task.toml中输入输出部分修改为:

# 任务输入,mock模拟目前仅支持一路rtsp或者本地url
# rtsp摄像头,type = "rtsp", url里面写入rtsp地址
# 其它用"url",比如可以是本地文件地址, 或者httpserver的地址,(摄像头 url = "0")
[input]
type = "url"
url = "../data/mask_test.mp4"
# 任务输出,目前仅支持"webhook", 和本地输出"local"(输出到屏幕,url="0", 输出到rtsp,填写rtsp地址)
# (local 还可以输出到本地文件,这个时候注意,文件可以是相对路径,是相对这个mock_task.toml文件本身)
[output]
type = "local"
url = "../hilens_data_dir/mask_test_result.mp4"

将common资源包中的data/mask_test.mp4测试视频拷贝到口罩检测工程的data目录下,该流程图使用这一视频进行口罩检测,检测结果绘制后保存为hilens_data_dir/mask_test_result.mp4文件。

(6)运行应用

在mask_det_yolo3工程路径下执行build_project.sh进行工程构建:

cd workspace/mask_det_yolo3
./build_project.sh

执行bin/main.sh运行应用(如果运行报错请切换到root账号再运行,本应用需要事先使用pip安装好OpenCV和NumPy),运行结束后在hilens_data_dir目录下生成了mask_test_result.mp4文件,可以下载到PC端查看。

bin/main.sh
git add .
git commit -m 'run mask_det_yolo3'
git push
git tag -a v1.5 -m 'mask_det_yolo3'
git push origin --tags

(7)实时摄像头

# 用于本地mock文件读取任务,脚本中已经配置了IVA_SVC_CONFIG环境变量, 添加了此文件路径
########### 请确定使用linux的路径类型,比如在windows上要用 D:/xxx/xxx  不能用D:\xxx\xxx  ###########
# 任务的参数为一个压缩并转义后的json字符串
# 直接写需要转义双引号, 也可以用 content_file 添加一个json文件,如果content和content_file都存在content会被覆盖
# content_file支持绝对路径或者相对路径,不支持解析环境变量(包括${HILENS_APP_ROOT}、${HILENS_DATA_DIR}等)
[common]
content = "{\"param_str\":\"string param\",\"param_int\":10,\"param_float\":10.5}"
# 任务输入,mock模拟目前仅支持一路rtsp或者本地url
# rtsp摄像头,type = "rtsp", url里面写入rtsp地址
# 其它用"url",比如可以是本地文件地址, 或者httpserver的地址,(摄像头 url = "0")
[input]
type = "url"
# url = "../data/mask_test.mp4" 
url = "0"
# 任务输出,目前仅支持"webhook", 和本地输出"local"(输出到屏幕,url="0", 输出到rtsp,填写rtsp地址)
# (local 还可以输出到本地文件,这个时候注意,文件可以是相对路径,是相对这个mock_task.toml文件本身)
[output]
type = "local"
# url = "../hilens_data_dir/mask_test_result.mp4" 
url = "rtsp://192.168.3.3:8554/outstream"

运行测试

bin/main.sh camera

小结

本次案例实践口罩识别,通过本次案例的实践对于开发板的使用有了进一步了解,同时也体会到了这个开发板的便捷开发模式,非常值得推荐,希望后续可以体验更多案例,真正落地实践。

参考文献:

 

点击关注,第一时间了解华为云新鲜技术~

有关ModelBox开发体验:使用YOLOv3做口罩检测的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐