草庐IT

（Windows 10）Yolov5-5.0模型的TensorRT加速+ C++部署 + VS2019封装 dll (CMake) + Qt调用

qq_22487889 2023-06-22 原文

前置条件

确保已经完成了yolov5的环境配置并实现了训练自己的数据集，得到权重文件
本文整体结构和流程参考：Yolov5训练自己的数据集+TensorRT加速+Qt部署
完善知识体系的知识：win32和x86以及x64的区别
本人使用的环境记录：TensorRT版本不同，对应的lib库会有不同

Win10
cuda 11.1
cudnn 8.5.0
TensorRT 8.2.1.8
Visual Studio 2019
Opencv 4.5.5
Qt 5.14.2

  • 为自己的电脑配置可能需要的环境变量做的笔记，便于复制

头文件包含目录：

D:\Program Files\TensorRT-8.2.1.8\include
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include
D:\OpenCV\v455\opencv\build\include
D:\OpenCV\v455\opencv\build\include\opencv2

lib 库目录：TensorRT的lib文件夹不分x64和Win32，Ohttps://blog.csdn.net/qq_22487889/article/details/127040950penCV只有x64，CUDA分x64和Win32

D:\Program Files\TensorRT-8.2.1.8\lib
D:\OpenCV\v455\opencv\build\x64\vc15\lib
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\Win32
//一般不用最后一行的Win32

附加依赖项：根据环境的不同，需要依赖的lib文件可能不同（注意注意：不要在附加依赖项中添加成了dll文件！！！！）

//前5个(一般不用)是CUDA/vxx.x/lib/Win32拥有的，5-8是x64所拥有的
//再后面除了opencv以外都是TensorRT拥有的，但是我用的
cuda.lib
cudadevrt.lib
cudart_static.lib
OpenCL.lib
cudart.lib
cublas.lib
cudnn.lib
cudnn64_8.lib
myelin64_1.lib
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
opencv_world455.lib	//opencv版本不同就不一样

由于TensorRT8.2.18没有myelin64_1.lib，会报错：无法打开输入文件“myelin64_1.lib“，如果是没有该库文件的，删除myelin64_1.lib这一行

一、 利用TenbsorRT进行模型的加速

.pt文件→.wts文件→.engine文件

1.1 生成 .wts 文件

此处参考Yolov5训练自己的数据集+TensorRT加速+Qt部署的 3.1 节即可

1.2 生成 .engine 文件

1.2.1 下载电脑支持的CUDA版本以及对应的cuDNN和TensorRT

  1. 我下载的是CUDA 11.1.1版本，具体查看自己电脑支持的CUD【A版本可以上网搜资料。记得使用VS2019及以下版本比较好。
    Pytorch，查看Pytorch版本，查看CUDA版本，查看cudnn版本，查看pytorch可用性，查看cuda可用性，查看cudnn可用性
    Cuda和cuDNN安装教程(超级详细)
    如果在没有显卡的电脑上安装，只有intel核显，没有出现第二行

    还出现了如下问题：Win10系统安装CUDA10.0和cuDNN
    卸载了VS2022，然后安装VS2019，问题得到了解决。
  2. 然后是安装TensorRT：
    TensorRT下载网站
    windows上安装TensorRT
    在sample_mnist.sln下，重新生成解决方案，再执行
    一些问题的解决：

1.2.2 根据自己使用的VS版本下载对应版本的OpenCV

#include<opencv2/core/core.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc.hpp>
#include<iostream>
using namespace cv;
using namespace std;
 
int main() {
	Mat image = Mat::zeros(300, 600, CV_8UC3);
	circle(image, Point(300, 200), 100, Scalar(0, 255, 120), -100);
	circle(image, Point(400, 200), 100, Scalar(255, 255, 255), -100);
	imshow("show window", image);
	waitKey(0);
	return 0;
}

结果：

  • 配置Release模式：刚刚我们配置的只能在DeBug|x64中运行，下面我们配置Release|x64的属性表，可以在Release|x64中运行。
    在visual studio中找到属性管理器
    VS2022永久配置OpenCV开发环境
    注意配置release版本，在“通用属性-链接器-输入-附加依赖项”中添加一定要是****.lib，而不是debug版本中的****d.lib，因为只有.lib才对应的是Release版本

1.2.3 编译生成可执行文件

参考：
BiliBili：win10 使用TensorRT部署 yolov5-v4.0（C++）（二）
CSDN：win10 使用TensorRT部署 yolov5-v4.0（C++）
如果使用的是自己的数据集，记得修改 yololayer.h 头文件，主要是修改分类和识别框

错误记录：直接使用参考博客的 CMakeLists 会出现错误，需要添加tensorrtx/yolov5/CMakeLists.txt的

add_definitions(-DAPI_EXPORTS)

注意是 yolov5-5.0 版本，最后我的 CMakeLists 如下：文件目录要和自己的对应

cmake_minimum_required(VERSION 2.8)

#=========================================================
project(yolov5)                                 #1 工程名
set(OpenCV_DIR "D:\\OpenCV\\v455\\opencv\\build")    #2 opencv目录
set(OpenCV_INCLUDE_DIRS ${OpenCV_DIR}\\include) #3 
set(OpenCV_LIB_DIRS ${OpenCV_DIR}\\x64\\vc15\\lib) #4
set(OpenCV_Debug_LIBS "opencv_world455d.lib")     #5
set(OpenCV_Release_LIBS "opencv_world455.lib")    #6
set(TRT_DIR "D:\\Program Files\\TensorRT-8.2.1.8")  #7
set(TRT_INCLUDE_DIRS ${TRT_DIR}\\include) #8
set(TRT_LIB_DIRS ${TRT_DIR}\\lib)         #9
set(Dirent_INCLUDE_DIRS "D:\\DeepLearning\\tensorrtx-yolov5-v5.0\\yolov5")  #10
#=========================================================

add_definitions(-std=c++11)
add_definitions(-DAPI_EXPORTS)
option(CUDA_USE_STATIC_CUDA_RUNTIME OFF)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_BUILD_TYPE Debug)

set(THREADS_PREFER_PTHREAD_FLAG ON)
find_package(Threads)

# setup CUDA
find_package(CUDA REQUIRED)
message(STATUS "    libraries: ${CUDA_LIBRARIES}")
message(STATUS "    include path: ${CUDA_INCLUDE_DIRS}")

include_directories(${CUDA_INCLUDE_DIRS})

####
enable_language(CUDA)  # add this line, then no need to setup cuda path in vs
####
include_directories(${PROJECT_SOURCE_DIR}/include) #11
include_directories(${TRT_INCLUDE_DIRS}) #12
link_directories(${TRT_LIB_DIRS}) #13
include_directories(${OpenCV_INCLUDE_DIRS}) #14
link_directories(${OpenCV_LIB_DIRS}) #15
include_directories(${Dirent_INCLUDE_DIRS}) #16


# -D_MWAITXINTRIN_H_INCLUDED for solving error: identifier "__builtin_ia32_mwaitx" is undefined
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 -Wall -Ofast -D_MWAITXINTRIN_H_INCLUDED")

# setup opencv
find_package(OpenCV QUIET
    NO_MODULE
    NO_DEFAULT_PATH
    NO_CMAKE_PATH
    NO_CMAKE_ENVIRONMENT_PATH
    NO_SYSTEM_ENVIRONMENT_PATH
    NO_CMAKE_PACKAGE_REGISTRY
    NO_CMAKE_BUILDS_PATH
    NO_CMAKE_SYSTEM_PATH
    NO_CMAKE_SYSTEM_PACKAGE_REGISTRY
)

message(STATUS "OpenCV library status:")
message(STATUS "    version: ${OpenCV_VERSION}")
message(STATUS "    lib path: ${OpenCV_LIB_DIRS}")
message(STATUS "    Debug libraries: ${OpenCV_Debug_LIBS}")
message(STATUS "    Release libraries: ${OpenCV_Release_LIBS}")
message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")

add_executable(yolov5 ${PROJECT_SOURCE_DIR}/yolov5.cpp ${PROJECT_SOURCE_DIR}/common.hpp ${PROJECT_SOURCE_DIR}/yololayer.cu ${PROJECT_SOURCE_DIR}/yololayer.h)   #17
target_link_libraries(yolov5 "nvinfer" "nvinfer_plugin") #18
target_link_libraries(yolov5 debug ${OpenCV_Debug_LIBS}) #19
target_link_libraries(yolov5 optimized ${OpenCV_Release_LIBS}) #20
target_link_libraries(yolov5 ${CUDA_LIBRARIES}) #21
target_link_libraries(yolov5 Threads::Threads)

  • 最终的项目结构如下：
  • Debug和Release模式的区别：编译工具条内的Debug与Release选项有什么含义
    Debug 通常称为调试版本，它包含调试信息，并且不作任何优化，便于程序员调试程序。Release 称为发布版本，它往往是进行了各种优化，使得程序在代码大小和运行速度上都是最优的，以便用户很好地使用。Debug带有大量的调试代码，运行时需要相应的运行库，发布模式程序紧凑不含有调试代码和信息，直接可以运行(如果不需要运行库)。
    顺便补充一下 gcc 和 g++ 的知识
    GCC的DEBUG和release版本编译方法

1.2.4 wts文件生成engine文件

  1. 对之前生成的.wts文件使用命令：exe 文件和 wts 具体名称以及文件夹自己修改
    也可以直接将权重文件复制到生成的目录（Debug或者Release）下进行如下执行
yolov5.exe -s best20220918.wts best20220918.engine s


生成成功：

  1. 测试：模型预测
    在刚刚的地方直接新建一个文件夹用来存放预测图象

    然后输入命令：处理image_dir文件夹内的图片，可以看到处理速度，处理后的图片会显示识别框以及标签的 id
yolov5.exe -d best20220918.engine ./image_dir

二、 模型的封装

将模型封装成动态链接库（.dll）的形式，从而在Qt中调用。
用于完善自己知识体系的知识：
VS中空项目、win32项目、控制台程序的区别

2.1 VS2019创建 dll 并调用动态库的方法

该节的内容比较长，新写了一个文章，内容请看：VS2019 - 动态库的编写和调用
本节参考：
CSDN：VS2019环境下C++动态链接库（DLL）的创建与调用
BIliBili：Visual Studio 2019-编写C++动态链接库
BiliBili：Visual Studio 2019-显式调用C++动态库

2.2 将yolov5封装成一个导出类，生成动态链接库 dll

该节的内容请看：（win10） yolov5-v5.0导出动态链接库-TensorRT+VS2019+CMake
本节新增参考参考：CSDN：yolov5动态链接库DLL导出(TensorRT)
BiliBili：win10 使用TensorRT部署 yolov5-v4.0（C++）（三）
上述采用的是yolov5-v4.0，而我的是yolov5-v5.0，因此代码是需要根据自己的版本进行更改的

2.3 在VS中进行检测封装好的模型是否能够运行

  1. 创建空项目
  2. 将需要的文件放入项目中，文件在属性中的包含了的文件夹内其实也可以不放
  • 需要的文件

  • 项目内容如下： main.cpp 是自己写的，参考：三.测试
  1. 项目结构及代码如下：注意属性要与 dll 的导出属性相同，我的均在Release | x64 下实现
//main.cpp
#pragma once
#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>
#include "Detection.h"
#include "dirent.h"
#include "yololayer.h"

using namespace std;

int main()
{

	Connect connect;
	YOLOV5* yolo_dll = connect.Create_YOLOV5_Object();

	cv::VideoCapture capture(0);
	if (!capture.isOpened()) {
		std::cout << "Error opening video stream or file" << std::endl;
		return -1;
	}
	yolo_dll->Initialize("./best20220918.engine", 0);
	while (1)
	{
		cv::Mat frame;
		capture >> frame;
		vector<cv::Rect> Boxes;
		vector<const char*> ClassLables;

		yolo_dll->Detecting(frame, Boxes, ClassLables);
		cv::imshow("output", frame);
		cv::waitKey(1);
	}
	connect.Delete_YOLOV5_Object(yolo_dll);
	return 0;
}
  1. 配置环境需要配置，不一定每一行都需要，我是一刀切了
#将此路径加入项目属性包含目录中
D:\DeepLearning\tensorrtx-yolov5-v5.0_dll\yolov5
D:\Program Files\TensorRT-8.2.1.8\include
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include
D:\OpenCV\v455\opencv\build\include
D:\OpenCV\v455\opencv\build\include\opencv2
 
#将此路径加入项目属性的库目录中，也就是我们刚刚生成dll的文件目录
#TensorRT的lib文件夹不分x64和Win32，OpenCV只有x64，CUDA分x64和Win32
D:\DeepLearning\tensorrtx-yolov5-v5.0_dll\yolov5\build_dll\Release
D:\Program Files\TensorRT-8.2.1.8\lib
D:\OpenCV\v455\opencv\build\x64\vc15\lib
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\x64
D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\lib\Win32

#在输入链接器添加依赖库
yolov5.lib
#前5个(一般不用)是CUDA/vxx.x/lib/Win32拥有的，5-8是x64所拥有的
#再后面除了opencv以外都是TensorRT拥有的
cuda.lib
cudadevrt.lib
cudart_static.lib
OpenCL.lib
cudart.lib
cublas.lib
cudnn.lcucuda
cudnn64_8.lib
nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
opencv_world455.lib
opencv_world455d.lib	//opencv版本不同就不一样

三、 利用QT部署

方法1（我没有使用）：Visual Studio 2019 配置 Qt5.14.2 开发环境并部署，参考：该博客的五、利用Qt进行部署
该方法要注意：Qt中使用的编译器（MinGW or MSVC）必须和编译库使用的编译器相同！！！

3.1 Visual Studio 2019 的项目进行打包并与Qt互相传递参数

3.1.1 修改main.cpp文件，从而获取参数

参考：OpenCV中Rect()函数常用操作和使用详解（含绘图示例）+Rectangle()函数用法 按照自己需要选取参数。
我增加的代码如下：

for (auto r : Boxes) {
			cout << "Boxes:" << r << endl;
			cout << "左上:" << r.tl() << "右下" << r.br() << "\t";
		}

输出如图：可以看出Boxes的参数是【宽 × 长 from 左上角】

3.1.2 对VS项目进行打包

  1. 首先对项目的属性进行修改：
    vs2019 生成包含dll的exe
    https://blog.csdn.net/love521963/article/details/107326320
    然后生成解决方案因为我测试 dll 的环境是Release | x64 的环境，就改成多线程（/MT），点击生成解决方案，根据下方项目路径找到exe文件：
  2. 然后进入文件夹中添加文件，最后文件夹所需的所有内容如下：
  3. 在别人的电脑上会出现以下问题：这是因为运行的电脑要有和配置环境的电脑拥有相同的环境

3.2 QT调用VS打包后的exe文件并获取参数

3.2.1 参考：QT调用外部程序exe并互相传递参数

C++TensorRTspanclasstokenqtopencv计算机视觉目标检测

有关（Windows 10）Yolov5-5.0模型的TensorRT加速+ C++部署 + VS2019封装 dll (CMake) + Qt调用的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2

    这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub

  3. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  4. Qt Designer的简单使用 - 2

    在前面两节的例子中，主界面窗口的尺寸和标签控件显示的矩形区域等，都是用C++代码编写的。窗口和控件的尺寸都是预估的，控件如果多起来，那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观，因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner（Qt设计师）。通过QtDesigner就可以很方便地创建图形界面文件*.ui，然后将ui文件应用到源代码里面，做到“所见即所得”，大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用，学习拖拽控件和设置控件属性，并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q

  5. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  6. ruby-on-rails - 为什么方法 column_types 在 Rails 5.0 中未定义？ - 2

    我正在为一个类赋值，它在rspec测试中使用了column_types方法。it"Userdatabasestructureinplace"doexpect(User.column_names).toinclude"password_digest","username"expect(User.column_types["username"].type).toeq:stringexpect(User.column_types["password_digest"].type).toeq:stringexpect(User.column_types["created_at"].type).t

  7. ruby - 如何在 Ruby 中执行 Windows CLI 命令？ - 2

    我在目录“C:\DocumentsandSettings\test.exe”中有一个文件，但是当我用单引号编写命令时`C:\DocumentsandSettings\test.exe(我无法在此框中显示)，用于在Ruby中执行命令，我无法这样做，我收到的错误是找不到文件或目录。我尝试用“//”和“\”替换“\”，但似乎没有任何效果。我也使用过系统、IO.popen和exec命令，但所有的努力都是徒劳的。exec命令还使程序退出，这是我不想发生的。提前致谢。 最佳答案 反引号环境就像双引号，所以反斜杠用于转义。此外，Ruby会将空格解

  8. 关于Qt程序打包后运行库依赖的常见问题分析及解决方法 - 2

    目录一.大致如下常见问题：（1）找不到程序所依赖的Qt库version`Qt_5'notfound(requiredby（2）CouldnotLoadtheQtplatformplugin"xcb"in""eventhoughitwasfound（3）打包到在不同的linux系统下，或者打包到高版本的相同系统下，运行程序时，直接提示段错误即segmentationfault，或者Illegalinstruction(coredumped)非法指令（4）ldd应用程序或者库，查看运行所依赖的库时，直接报段错误二.问题逐个分析，得出解决方法：（1）找不到程序所依赖的Qt库version`Qt_5'

  9. ruby - 错误 : Failed to build gem native extension on Windows - 2

    我在安装“redcarpet”gem时遇到以下错误。它在我friend的机器上安装没有问题。(我想安装它来运行yard)ruby版本:1.9.3命令输出:D:\Learning\Common_POM_FW\SampleProjects>yard[error]:Missing'redcarpet'gemforMarkdownformatting.Installitwith`geminstallredcarpet`D:\Learning\Common_POM_FW\SampleProjects>geminstallredcarpetTemporarilyenhancingPATHtoinc

  10. ruby - 从 Ruby 连接到适用于 Windows Phone 8 的 Microsoft 推送通知服务 - 2

    我们正在开发一个需要推送通知的WP8应用程序。为了测试它，我们使用CURL命令行运行推送通知POST请求，确保它实际连接，使用客户端SSL证书进行身份验证并发送正确的数据。我们确实知道，当我们收到对设备的推送时，这项工作是有效的。这是我们一直用于测试目的的CURL命令:curl--certclient_cert.pem-v-H"Content-Type:text/xml"-H"X-WindowsPhone-Target:Toast"-H"X-NotificationClass:2"-XPOST-d"MytitleMysubtitle"https://db3.notify.live.ne

随机推荐