文章目录2023-03-06更新2023-03-05更新前言TensorRT介绍环境配置CUDADriver检查安装安装CUDA安装nvcc安装cuDNN安装验证安装TensorRT安装验证2023-03-06更新如果有小伙伴看了2023-03-05更新，发现设置环境变量后运行cuda代码在链接过程中仍然会有报错问题啥的，那我这里建议，先别管2023-03-05更新的内容了，还是按照我博客里的安装步骤一步一步往下安装，用sudoaptinstallnvidia-cuda-toolkit命令去安装nvcc，也不需要配置环境变量了。因为博客里的安装步骤是我亲自执行过的，在我的WSL2环境里是一点问
背景：训练DialogueGPT（一个基于GPT2的生成模型）DialoGPT/data_loader.pyat457835e7d8acd08acf7f6f0e980f36fd327ea37c·microsoft/DialoGPT·GitHub遇到的问题：报错：RuntimeError:CUDAerror:CUBLAS_STATUS_NOT_INITIALIZEDwhencalling`cublasCreate(handle)`解决思路：我把输入用同样形状的随机张量进行了测试，发现用随机的整数张量可以，但是用我的输入就不行，于是想看看两者的区别到底是什么后来发现，DialogueGPT以及GP
问题来源 对于刚接触人工智能领域不久的我而言，装CUDA等一些跑模型需要用到的工具是一件痛苦的事，稍不注意就会导致版本依赖问题，最终可能会需要你把前面安装的东西都卸载掉并重新下载，故本文记录如何卸载CUDA使得卸载干净。解决方案 本文的卸载工具采用window自带的控制面板，首先打开控制面板，看到很多关于NVIDIA的应用，不知从何下手，这里需要注意，有三个应用不能卸载，分别是NVIDIA的图形驱动程序、NVIDIAPhysx系统软件与NVIDIAGeForceExperience，接着按照安装时间排序，在临近时间内的其他关于NVIDIA应用均可删除，如下图所示。 卸载完成后
有两种方法可以安装CUDA环境第一种方法-用命令按照在刷机完成的Orin，执行如下命令：sudoaptupdatesudoaptupgradesudoaptinstallnvidia-jetpack-y注释–如果在执行第三行命令，报错的话，先查看nvidia-l4t-apt-source.list将其修改为修改完后，重新执行上面那三行命令CUDA检查是否安装成功运行命令nvcc-V输出结果nvcc:NVIDIA(R)CudacompilerdriverCopyright(c)2005-2021NVIDIACorporationBuiltonThu_Nov_11_23:44:05_PST_202
三、ubuntu系统安装配置1、系统初始化将烧录好的存储卡插入开发板中，连接好各类数据线和电源线，开机启动。第1步，选择接受协议。第2步，选择语言，这里选择中文简体。第3步，选择键盘布局。第4步，配置无线网络。后续的配置过程中很多地方会涉及到从互联网上下载组件包，所以建议配置网络。当然也可以先跳过，等配置完成后再进入系统进行网络配置。第5步，选择时区，在地图上点选上海附近位置。第6步，配置计算机名称、用户名称及密码。第7步，输入APPPartitionSize，保持默认值即可。第8步，选择nvpmodel性能模式，选择默认即可。第9步，开始进行软硬件配置。第10步，Applyingchange
今天在跑yolov7的时候遇见，模型加载问题，因为我是使用CPU来加载pt模型的，但是出现了错误；RuntimeError:AttemptingtodeserializeobjectonaCUDAdevicebuttorch.cuda.is_available()isFalse.IfyouarerunningonaCPU-onlymachine,pleaseusetorch.loadwithmap_location=torch.device('cpu')tomapyourstoragestotheCPU.模型是使用CUDA跑的，但是加载是使用CPU加载的，报错的意思就是需要是需要反序列化加载，
报错：Ifreservedmemoryis>>allocatedmemorytrysettingmax_split_size_mbtoavoidfragmentation.SeedocumentationforMemoryManagementandPYTORCH_CUDA_ALLOC_CONF当reservedmemoryis>>allocatedmemory，进行如下设置，可解决此bug：代码如下：importosos.environ["PYTORCH_CUDA_ALLOC_CONF"]="max_split_size_mb:128"
torch.cuda.OutOfMemoryError:CUDAoutofmemory.Triedtoallocate90.00MiB(GPU0;7.93GiBtotalcapacity;758.34MiBalreadyallocated;5.75MiBfree;858.00MiBreservedintotalbyPyTorch)Ifreservedmemoryis>>allocatedmemorytrysettingmax_split_size_mbtoavoidfragmentation.SeedocumentationforMemoryManagementandPYTORCH_CUDA_
Nvidia显卡驱动历史版本方法一安装低版本的cuda可能需要将自己的显卡驱动降到对应低版本，但是Nvidia官网都是给出的最新版本的显卡驱动。目前，有两种查找第版本的方法，第一种就是网上常见的在Nvidia官网下，按f12然后加上一段命令，但是该方法对我而言是没有用的，所以我在这里找到了第二种方法就是直接找到了Nvidia所有版本的一个网站，该网站支持各种Nvidia型号和各种版本的驱动，自己找到对应的Nvidia型号和驱动版本进行下载。nvidia显卡驱动历史版本链接注：当下载时出现错误，那么你需要打开vpn，错误就会消失方法二或者使用https://cn.download.nvidia.
问题背景今天训练BERT时遇到了这个bug：RuntimeError:CUDAerror:CUBLAS_STATUS_NOT_INITIALIZEDwhencalling`cublasCreate(handle)`于是在网上搜罗了一番，发现基本都是在说batchsize开的太大，但调小batchsize对我而言并不能解决问题。解决过程既然是比较罕见的CUDA报错，为什么不尝试先在CPU上跑跑看看呢？于是我将device='cuda'iftorch.cuda.is_available()else'cpu'直接改成了device='cpu'，再运行代码时遇到了如下的bug（只截取了最后几行）：Fi
