草庐IT

SE5_基于YOLO3D的目标检测算法移植与测试

算能开发者社区 2025-05-12 原文

本文档适用于SOPHGO（算能）BM1684-SE5及对应通用云开发空间，主要内容：

注意：由于SOPHGO SE5微服务器的CPU是基于ARM架构，部分步骤将在基于x86架构CPU的开发环境中完成

  1. 初始化开发环境(基于x86架构CPU的开发环境中完成)
  2. YOLO3D目标检测算法
  3. 模型转换 (基于x86架构CPU的开发环境中完成)
  4. YOLO3D模型推理测试（处理后的YOLO3D项目文件将被拷贝至SOPHGO SE5微服务器上推理测试）

1. 初始化开发环境 (基于x86架构CPU的开发环境中完成)

1.1 初始化开发环境

(若wget后的地址不可用，请前往算能官网下载Docker镜像及SDK)

# 切换成 root 权限
sudo -i

# 下载Docker镜像
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/19/10/x86_sophonsdk_ubuntu18.04_py37_dev_22.06_docker.zip

# 确保环境安装unzip后解压
unzip x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker.zip

# 进入文件夹并加载Docker镜像
cd x86_sophonsdk3_ubuntu18.04_py37_dev_22.06_docker
docker load -i x86_sophonsdk3_ubuntu18.04_py37_dev_22.06.docker

# 下载SOPHON SDK3.0.0
wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/22/07/18/11/
sophonsdk_v3.0.0_20220716.zip

unzip sophonsdk_v3.0.0_20220716.zip
cd sophonsdk_v3.0.0_

# 通过脚本文件创建并进入Docker容器
# 若您没有执行前述关于docker命令免root执行的配置操作，需在命令前添加sudo
./docker_run_sophonsdk.sh

1.2 配置Docker容器开发环境

以下步骤均在Docker容器中进行：

1. 安装nntc以及配置环境变量

cd /workspace/scripts/ 
./install_lib.sh nntc 
# 设置环境变量-[有PCIe加速卡] 
source envsetup_pcie.sh 
# 设置环境变量-[无PCIe加速卡] 
source envsetup_cmodel.sh

导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍，或者可以将这些环境变量写入~/.bashrc，这样每次登录将会自动设置环境变量

2. YOLO3D目标检测算法

文档：https://ruhyadi.github.io/project/computer-vision/yolo3d/

代码仓库链接：https://github.com/ruhyadi/YOLO3D](https://github.com/ultralytics/yolo3D

2.1 功能介绍

  • 3D目标检测:给定图片和相机参数，检测图片中车辆、行人3D检测框，并将检测框显示在图片上返回。

2.2 应用场景

  • 自动驾驶：车辆、行人的3D目标检测是自动驾驶感知算法的重要模块。自动驾驶系统依靠检测出的目标实现自主躲避障碍物、路径规划等功能。

2.3 特色优势

  • 只需输入单张图片和对应的相机参数就能完成车辆、行人的3D检测，无需输入点云等其他模态数据。
  • YOLO3D基于YOLOV5检测网络和ResNet网络回归，目前算能芯片对以上模型推理效果均有优化，推理速度快；另外工具链对以上模型都有完整支持，部署简单快捷。

3. Demo文件准备 (基于x86架构CPU的开发环境中完成)

3.1 准备模型与数据

3.1.1 Demo及相关文件准备

# 下载Demo及所需BModel
git clone https://github.com/sophgo/sophpi-shaolin
cd YOLO3D/data/models
pip3 install dfn
python3 -m dfn --url http://219.142.246.77:65000/sharing/2jQr4iVEx
python3 -m dfn --url http://219.142.246.77:65000/sharing/NkaQm47he

3.1.2 查看FP32 BModel的信息

命令：bm_model.bin --info xxxx.bmodel

# 查看模型信息
cd YOLO3D/data/models/
bm_model.bin --info resnet18.bmodel
bm_model.bin --info yolov5s.bmodel

resnet18.bmodel输出：

 yolov5s.bmodel输出：

4. YOLO3D模型部署测试（主要在SOPHGO SE5或云空间上进行）

4.1 SE5环境搭建及示例程序准备

将在处理好的YOLO3D项目文件,压缩后拷贝至SE5微服务器上:

scp -r /YOLO3D username@<SE5_IP>:<filepath>

或通过云空间文件系统拷贝：

打开云空间文件系统：

 上传文件：

 文件会被存储在服务器的 /tmp 目录下

对于SoC模式，内部已经集成了相应的SDK运行库包，位于/system目录下，只需设置环境变量即可。

# 设置环境变量
export PATH=$PATH:/system/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/system/lib/:/system/usr/lib/aarch64-linux-gnu
export PYTHONPATH=$PYTHONPATH:/system/lib

测试样例图片为YOLO3D源码中的测试图片，可自行选用测试图片

4.2 Python例程部署测试

Python代码无需编译，对于SE5微服务器，可直接运行。

首先需要将PCIe云空间sdk中的sail库文件拷贝至SE5云空间，具体步骤如下：

在PCIe云空间中

cp -r /home/sophgo/bmnnsdk2-bm1684_v2.7.0/lib/sail/python3/soc/py37/sophon /tmp

再通过云空间文件系统从PCIe下载`sophon`并上传至SE5，然后替换SE5源目录/system/lib/sophon。  

mv /system/lib/sophon /system/lib/sophon.bak
mv /tmp/sophon /system/lib/sophon

测试步骤如下：

cd /python
python3 yolo3d.py

部分输出：

 测试结果：

# 将输出图片复制到云空间文件系统
cp result/output_demo1.jpg /tmp/

在云空间文件系统处将图片下载至本地查看：

5. 相关链接

样例开源仓库：https://github.com/sophon-ai-algo/examples

BM1684 BMNNSDK文档：https://developer.sophgo.com/site/index/document/6/all.html

编译工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/nntc/html/index.html

量化工具用户开发手册： https://doc.sophgo.com/docs/2.7.0/docs_latest_release/calibration-tools/html/index.html

算能量化工具介绍及使用说明：https://www.bilibili.com/video/BV1DA4y1S75p?spm_id_from=333.999.0

官网视频教程：https://developer.sophgo.com/site/index/course/all/all.html

官网文档中心：https://developer.sophgo.com/site/index/document/all/all.html

官网下载中心：https://developer.sophgo.com/site/index/material/all/all.html

官网论坛：https://developer.sophgo.com/forum/view/43.html

移植YOLO3Dspanstylecolor3d目标检测算法

有关SE5_基于YOLO3D的目标检测算法移植与测试的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  3. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试？ - 2

    我有一个围绕一些对象的包装类，我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  4. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  8. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  9. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用？ - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件，其中包含一个方法my_preference，它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如，这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中，我读到这可以通过在测试文件中包含requiresessions_helper来实现，但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么？require'test_helper'require'sessions_hel

  10. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能？ - 2

    只是想确保我理解了事情。据我目前收集到的信息，Cucumber只是一个“包装器”，或者是一种通过将事物分类为功能和步骤来组织测试的好方法，其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗？ 最佳答案 有点。它是一种组织测试的方式，但不仅如此。它的行为就像最初的Rails集成测试一样，但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意，您可以使用步骤来构建对象和设置状态，但通常您

随机推荐