C++部署yolov5模型

• 前言
• 一、准备模型
• 二、Fastdeploy准备
• 三 调用
• 总结

前言

不可否认，yolov5在目标检测方面大杀四方，在 SOTA 榜上留下过万众瞩目的成绩，但是官网代码给的只有 python 版本的 infer 代码，要求不高的话，勉勉强强可以实现部署，现在，我想在 win 下实现 c++ 部署过程，主要原因有：

1. c++编译的文件，直接 cp 所有的 dll 以及 exe 到目标机器上就行，而 python 需要安装各种环境；
2. c++的效率高于 python；
3. win 下我感觉 c++ 的部署与移植的便利性远远高于 python；

谈到深度学习模型的部署问题，就引出来了几个常见的部署工具，例如 OpenVINO, tensorrt, onnxruntime等，以及基于这些框架又封装一层的，如 FastDeploy, mmdeploy等，这些工具各有特点，但对于目前的我来讲，就是想以最快的速度完成 ultracity/yolov5 生成的 pt 模型的部署，所以，选择了比较简单的 FastDeploy添加链接描述
现在这个 toolbox 能实现很多的功能，支持的模型也很多，有需要的话，可以自己上官网看看，这里就不做过多介绍了。

一、准备模型

FastDeploy 在调用 yolov5 的模型时，不是直接调用的 *.pt 文件，而是调用的 *.onnx（一种通用的深度学习模型）文件，因此，首先是需要对 *.pt 的文件进行格式转换，但并不是所有yolov5 的代码都支持 export *.pt to *.onnx 的功能，在这里，需要关注下 yolov5 的 tag ，大于等于 v6.0 的才有 export.py 这个文件，所以，如果是老用户，就不不需读此文章了。

python export --weights *.pt --include onnx

二、Fastdeploy准备

这个还是需要自己编译下的，我是用 cmake 编译的，具体步骤：

1. 设置下 ENABLE 目录下的选项：我是用视觉模块，所以，我把 ENABLE_VISION 设置为 ON， 并且，因为我需要调用 onnx，也把 ORT_BACKEND 和 PADDLE_BACKEND 设置为 ON，个人建议，用啥选啥，不用的先不要选，曾经遇到过坑，在编译的时候 ENABLE_OPENVINO_BACKEND=ON，然后再程序运行的时候就卡住不动了，结果发现是因为缺少了一个*.xml的文件，如果没人指点的话，估计这一个月都不知道问题出在哪里。2. 设置 with,
   个人建议 WITH_GPU，因为在运行的时候，有 GPU 就调用 GPU 了，没有 GPU 就调用 CPU了，兼容性好点。

三 调用

如果第一，二步没啥问题，就恭喜了，后面的调用就更简单了，直接看下代码吧：

bool demo_yolov5onnx(const std::string& model_file, const std::string& img_path, const int& loop, const int& use_gpu) {
	fastdeploy::RuntimeOption option; // Configuration information for model inference 	                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                
	if (use_gpu == 1) {
		option.UseGpu();
	} else {
		option.UseCpu();
	}
	auto model = fastdeploy::vision::detection::YOLOv5(model_file, "hello", option);

	if (!model.Initialized()) {
		std::cerr << "Failed to initialize." << std::endl;
		return false;
	}
	std::cout << "init successful" << std::endl;

	cv::Mat im = cv::imread(img_path);
	fastdeploy::vision::DetectionResult result;

	clock_t t1, t2;
	for (int i = 0; i < loop; i++) {
		t1 = clock();
		if (!model.Predict(im, &result)) {
			std::cerr << "Failed to predict." << std::endl;
			return false;
		}
		t2 = clock();
		std::cout << "predict image cost time: " << t2 - t1 << std::endl;
	}

	std::cout << "=================================" << std::endl;
	std::cout << result.Str() << std::endl;
	std::cout << "=================================" << std::endl;

	cv::Mat vis_im = fastdeploy::vision::VisDetection(im, result, 0.5);
	cv::imwrite("vis_result.jpg", vis_im); // The visualization results are saved locally
	return true;
}

调用还是比较简单的，也就三五句有用的语句。

总结

FastDeploy封装的还是挺简单的，使用很方便，但是，毕竟是二次开发的工具，在功能上，还是会受限的，所以，要想能更精通的实现模型部署的工作，还是需要学习下底层的部署工具(OpenVINO，ONNXRuntime, TensorRT)的使用以及对模型框架本身的理解。