草庐IT

CUDA-ExecutionProvider

全部标签

windows上用vs2017静态编译onnxruntime-gpu CUDA cuDNN TensorRT的坎坷之路

因为工作业务需求的关系,需编译onnxruntime引入项目中使用,主项目exe是使用的vs2017+qt5.12。onnxruntime就不用介绍是啥了撒,在优化和加速AI机器学习推理和训练这块赫赫有名就是了。有现成的别人编译好的只有dll动态库,当然我们显然是不可能使用的,因为BOSS首先就提出一定要让发布出去的程序体积尽量变少,我肯定是无法精细的拆分哪一些用到了的,哪一些代码是没用到的,还多次强调同时执行效率当然也要杠杠滴。所以下面就开始描述这几天一系列坎坷之路,留个记录,希望过久了自己不会忘记吧,如果能帮助到某些同行少走些弯路也最好:1.Clonerepo诧一听你可能会觉得一个大名鼎鼎

windows上用vs2017静态编译onnxruntime-gpu CUDA cuDNN TensorRT的坎坷之路

因为工作业务需求的关系,需编译onnxruntime引入项目中使用,主项目exe是使用的vs2017+qt5.12。onnxruntime就不用介绍是啥了撒,在优化和加速AI机器学习推理和训练这块赫赫有名就是了。有现成的别人编译好的只有dll动态库,当然我们显然是不可能使用的,因为BOSS首先就提出一定要让发布出去的程序体积尽量变少,我肯定是无法精细的拆分哪一些用到了的,哪一些代码是没用到的,还多次强调同时执行效率当然也要杠杠滴。所以下面就开始描述这几天一系列坎坷之路,留个记录,希望过久了自己不会忘记吧,如果能帮助到某些同行少走些弯路也最好:1.Clonerepo诧一听你可能会觉得一个大名鼎鼎

Anaconda, PyTorch, CUDA Driver, PyCharm 安装与配置

安装Anaconda(2022.05)最新版本https://www.anaconda.com/历史版本https://repo.anaconda.com/archive/打开安装包:nextIAgreeJustMe(影响之后创建虚拟环境的默认位置,选择JustMe虚拟环境默认在安装Anaconda文件夹下的evns文件夹下;选择AllUser虚拟环境默认安装在C:\Users\DQD.conda\envs)选择安装位置勾选第一个选项,在普通的命令行窗口可以使用Anaconda指令;若不勾选,只能在Anaconda命令行窗口中使用Anaconda指令。可选可不选。(本次不勾选)本次勾选第二个选

Anaconda, PyTorch, CUDA Driver, PyCharm 安装与配置

安装Anaconda(2022.05)最新版本https://www.anaconda.com/历史版本https://repo.anaconda.com/archive/打开安装包:nextIAgreeJustMe(影响之后创建虚拟环境的默认位置,选择JustMe虚拟环境默认在安装Anaconda文件夹下的evns文件夹下;选择AllUser虚拟环境默认安装在C:\Users\DQD.conda\envs)选择安装位置勾选第一个选项,在普通的命令行窗口可以使用Anaconda指令;若不勾选,只能在Anaconda命令行窗口中使用Anaconda指令。可选可不选。(本次不勾选)本次勾选第二个选

【深度学习】检测CUDA、cuDNN、Pytorch是否可用

检测CUDA、cuDNN、Pytorch是否可用大家看完代码不妨看一下后文的详解哦~默子在原有基础上增加了很多新的内容。解释的更加详细,更加具体,更加新颖!废话不多说,我们直接开始。复制下列代码到IDE中运行importtorchprint('CUDA版本:',torch.version.cuda)print('Pytorch版本:',torch.__version__)print('显卡是否可用:','可用'if(torch.cuda.is_available())else'不可用')print('显卡数量:',torch.cuda.device_count())print('是否支持BF1

【深度学习】检测CUDA、cuDNN、Pytorch是否可用

检测CUDA、cuDNN、Pytorch是否可用大家看完代码不妨看一下后文的详解哦~默子在原有基础上增加了很多新的内容。解释的更加详细,更加具体,更加新颖!废话不多说,我们直接开始。复制下列代码到IDE中运行importtorchprint('CUDA版本:',torch.version.cuda)print('Pytorch版本:',torch.__version__)print('显卡是否可用:','可用'if(torch.cuda.is_available())else'不可用')print('显卡数量:',torch.cuda.device_count())print('是否支持BF1

闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)

前文回溯,之前一篇:含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入),利用AI技术将文本合成语音,现在反过来,利用开源库Whisper再将语音转回文字,所谓闻其声而知雅意。Whisper是一个开源的语音识别库,它是由FacebookAIResearch(FAIR)开发的,支持多种语言的语音识别。它使用了双向循环神经网络(bi-directionalRNNs)来识别语音并将其转换为文本。Whisper支持自定义模型,可以用于实现在线语音识别,并且具有高级的语音识别功能,支持语音识别中的语音活动检测和语音识别中的语音转文本。它是使用PyTor

闻其声而知雅意,基于Pytorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)

前文回溯,之前一篇:含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入),利用AI技术将文本合成语音,现在反过来,利用开源库Whisper再将语音转回文字,所谓闻其声而知雅意。Whisper是一个开源的语音识别库,它是由FacebookAIResearch(FAIR)开发的,支持多种语言的语音识别。它使用了双向循环神经网络(bi-directionalRNNs)来识别语音并将其转换为文本。Whisper支持自定义模型,可以用于实现在线语音识别,并且具有高级的语音识别功能,支持语音识别中的语音活动检测和语音识别中的语音转文本。它是使用PyTor

Ubuntu下安装CUDA

镜像下载、域名解析、时间同步请点击阿里云开源镜像站注意:Ubuntu18.04默认GCC-7,由于CUDA9.x不支持GCC-7(下载页面没有对ubuntu18的支持),所以需要安装低版本的5或者1.查看是否安装了cuda#法1cat/usr/local/cuda/version.txt#法2nvcc--version2.若没有安装,则查看是否有N卡驱动,若无N卡驱动,则到软件与更新->附加驱动中安装驱动3.查看N卡驱动支持的cuda版本nvidia-smi如下图支持最高CUDA版本是11.44.到cuda-toolkit-archive,选择需要的CUDA下载5.如下图,选择runfile(

Ubuntu下安装CUDA

镜像下载、域名解析、时间同步请点击阿里云开源镜像站注意:Ubuntu18.04默认GCC-7,由于CUDA9.x不支持GCC-7(下载页面没有对ubuntu18的支持),所以需要安装低版本的5或者1.查看是否安装了cuda#法1cat/usr/local/cuda/version.txt#法2nvcc--version2.若没有安装,则查看是否有N卡驱动,若无N卡驱动,则到软件与更新->附加驱动中安装驱动3.查看N卡驱动支持的cuda版本nvidia-smi如下图支持最高CUDA版本是11.44.到cuda-toolkit-archive,选择需要的CUDA下载5.如下图,选择runfile(