草庐IT

【windows版】TensorRT安装教程

花花少年 2023-08-20 原文

一、参考资料

TensorRT

深度学习模型剪枝、量化和TensorRT推理

深度学习模型PyTorch训练并转ONNX与TensorRT部署

TensorRT(1)-介绍-使用-安装

TensorRT

模型量化技术（入门级理解，不涉及复杂公式和深入的原理）

二、相关介绍

1. TensorRT的优化

模型推理的时候，每一次的操作都是由GPU启动不同的的CUDA核心来完成的，大量的时间花在CUDA核心启动和读写操作上，造成了内存带宽的瓶颈和GPU资源浪费。TensorRT通过层间融合，横向融合把卷积偏置激活合并成一个结构，并且只占用一个CUDA核心，纵向融合把结构相同、权值不同的层合并成一个更宽的层，也是占用一个CUDA核心，因此整个模型结构更小更快。

2. github代码

tensorrt_demos

tensorrt_inference

TensorRT demo

三、关键步骤

windows 下安装tensorRT

1. 准备工作

2. 下载解压TensorRT

下载地址；

3. 配置TensorRT

  1. 将 TensorRT-7.2.3.4\include 中头文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include；
  2. 将 TensorRT-7.2.3.4\lib 中所有lib文件 copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64；
  3. 将 TensorRT-7.2.3.4\lib 中所有dll文件copy 到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin；

4. 编译mnist例程

  1. 用VS2019 打开 TensorRT-7.2.3.4\samples\sampleMNIST\sample_mnist.sln；
  2. 在VS2019中，右键工程，选择属性-》配置属性-》常规-》平台工具集-》Visual Studio 2019 (v142)；
  3. 右键工程-》重新生成；

5. 测试mnist例程

  1. 进入 TensorRT-7.2.3.4\data\mnist 目录，执行python download_pgms.py；
  2. 进入TensorRT-7.2.3.4\bin，用cmd执行，sample_mnist.exe --datadir=d:\path\to\TensorRT-7.0.0.11\data\mnist\；
  3. 执行成功则说明tensorRT 配置成功；

四、可能存在的问题

Q：fatal error C1083: 无法打开包括文件: “cuda_runtime.h”: No such file or dir

步骤右键工程-》重新生成，执行失败。

错误原因：
没有包含cuda头文件

解决方法：
【项目右键】，点击【属性】，点击【配置属性】，点击【C/C++】，点击【常规】，编辑【附加包含目录】，根据CUDA的路径添加【D:\360Downloads\CUDA11.3\NVIDIA GPU Computing Toolkit\CUDA\v11.3\include】![](TensorRT教程.assets\缺少cuda头文件.png)

Q：LINK : fatal error LNK1181: 无法打开输入文件“cudnn.lib”

步骤右键工程-》重新生成，执行失败。

错误原因：
没有包含lib库文件

解决方法：
【项目右键】，点击【属性】，点击【配置属性】，点击【VC++目录】，编辑【库目录】，根据CUDA的路径添加【D:\360Downloads\CUDA11.3\NVIDIA GPU Computing Toolkit\CUDA\v11.3\lib\x64】


Q：执行 sample_mnist.exe --datadir=d:\path\to\TensorRT-7.0.0.11\data\mnist\\ 失败

错误原因：
当前CUDA版本过高，本人的CUDA版本为11.3，需要11.1版本

解决办法：
参考资料
[Cannot find nvrtc64_111_0.dll after update to 1.13.1](https://github.com/nanopool/nanominer/issues/106)

路径 D:\360Downloads\CUDA11.3\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin 下的【nvrtc64_112_0.dll】重命名为【nvrtc64_111_0.dll】

Q：urllib.error.HTTPError:HTTP Error 503:Service Unavailable

执行 python download_pgms.py 失败。

错误原因：
下载数据集失败，数据集在国外的服务器，下载数据集需要翻墙

解决办法：
翻墙下载数据集资源，然后上传到国内的服务器，保证公网可以下载即可

注意：本人使用七牛云的kodo对象存储，10G免费空间，注册账号，身份认证审核方便，一般三个工作日完成审核（本人周三下午6点半左右提交申请，周四上午10点左右通过审核）
比如上传之后的url:

train-images-idx3-ubyte.gz
http://qu3tpn8vb.hn-bkt.clouddn.com/train-images-idx3-ubyte.gz

train-labels-idx1-ubyte.gz
http://qu3tpn8vb.hn-bkt.clouddn.com/train-labels-idx1-ubyte.gz

修改 download_pgms.py 文件中对应的url

TensorRTwindowsxffxff0ccode

有关【windows版】TensorRT安装教程的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序，但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目，就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身，只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导，因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身，并查看脚本https://raw.github.com/wayn

  4. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  5. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么？ 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过，它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  6. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer，但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  7. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  8. ruby - 如何在 Lion 上安装 Xcode 4.6，需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby，并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐