在常见的多分类问题中，先经过softmax处理后进行交叉熵计算，原理很简单可以将计算loss理解为，为了使得网络对测试集预测的概率分布和其真实分布接近，常用的做法是使用one-hot对真实标签进行编码，然后用预测概率去拟合one-hot的真实概率。但是这样会带来两个问题：无法保证模型的泛化能力，使网络过于自信会导致过拟合；全概率和0概率鼓励所属类别和其他类别之间的差距尽可能加大，而由梯度有界可知，这种情况很难adapt。会造成模型过于相信预测的类别。标签平滑可以缓解这个问题，可以有两个角度理解这件事。角度一软化这种one-hot编码方式。 等号左侧：是一种新的预测的分布等号右侧：前半部分是对原
记录：在复现论文代码时碰到使用keras环境，于是在自己windows系统的台式机（RTX3080；CUDA11.7）上进行了安装，但是发现台式机的显存无法支持程序的运行。于是将一摸一样的环境配置到更大现存的Ubuntu服务器（CUDA11.7）上，但配置环境出错，一直无法调用GPU。经过一天的摸索，从网上其他博客中找到答案，虽然不懂其中的道理，但先记录下来。1.待配置环境的版本Python:3.8.0CUDA:11.3.1cuDNN:8.2.1Tensorflow-gpu:2.7.0Keras:2.7.02.Windows下使用conda和pip安装Tensorflow-gpu以及Kera
记录：在复现论文代码时碰到使用keras环境，于是在自己windows系统的台式机（RTX3080；CUDA11.7）上进行了安装，但是发现台式机的显存无法支持程序的运行。于是将一摸一样的环境配置到更大现存的Ubuntu服务器（CUDA11.7）上，但配置环境出错，一直无法调用GPU。经过一天的摸索，从网上其他博客中找到答案，虽然不懂其中的道理，但先记录下来。1.待配置环境的版本Python:3.8.0CUDA:11.3.1cuDNN:8.2.1Tensorflow-gpu:2.7.0Keras:2.7.02.Windows下使用conda和pip安装Tensorflow-gpu以及Kera
文章目录TensorFlow简介TensorFlow是什么tensorflow版本变迁tensorflow2.0架构安装过程常用IDE安装python3.9的安装Anaconda的安装CUDA安装cuda软件安装cuDNN神经网络加速库安装配置环境变量TensorFlow的gpu版本安装TensorFlow简介TensorFlow是什么TensorFlow是深度学习领域使用最为广泛的一个Google的开源软件库（最初由Googlebrainteam进行开发的内部库，由于它的易用性Google决定把它开源出来）.采取数据流图，用于数值计算.节点——处理数据线——节点间的输入输出关系数据流图中的数
文章目录TensorFlow简介TensorFlow是什么tensorflow版本变迁tensorflow2.0架构安装过程常用IDE安装python3.9的安装Anaconda的安装CUDA安装cuda软件安装cuDNN神经网络加速库安装配置环境变量TensorFlow的gpu版本安装TensorFlow简介TensorFlow是什么TensorFlow是深度学习领域使用最为广泛的一个Google的开源软件库（最初由Googlebrainteam进行开发的内部库，由于它的易用性Google决定把它开源出来）.采取数据流图，用于数值计算.节点——处理数据线——节点间的输入输出关系数据流图中的数
自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。今天，「卷王」UC伯克利LMSysorg又发布了70亿参数的Vicuna——不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning恰在今天，HuggingFace的研究人员也
自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。今天，「卷王」UC伯克利LMSysorg又发布了70亿参数的Vicuna——不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning恰在今天，HuggingFace的研究人员也
另一篇：ffmpeg硬编解码InterQSV常见的硬件编码包括NvidiaGPU与IntelQSV两种，还有一些嵌入式平台如树莓派，瑞芯微等。首先理解一下概念，Nvidia中文名英伟达是一个厂商名字，GPU则是这个厂商生产的显卡里的一个个图像处理的逻辑单元，它主要是作图片处理，但有逻辑处理的能力，所以可以替cpu分担一些逻辑处理压力。了解一下ffmpeg对Nvidia的GPU编码支持哪些参数，可以通过ffmpeg-hencoder=h264_nvenc可以看到编码的参数与x264相比有些类似，但少很多，不过关键的都在。解码时ffmpeg对它的参数支持查看：ffmpeg-hdecoder=h26
另一篇：ffmpeg硬编解码InterQSV常见的硬件编码包括NvidiaGPU与IntelQSV两种，还有一些嵌入式平台如树莓派，瑞芯微等。首先理解一下概念，Nvidia中文名英伟达是一个厂商名字，GPU则是这个厂商生产的显卡里的一个个图像处理的逻辑单元，它主要是作图片处理，但有逻辑处理的能力，所以可以替cpu分担一些逻辑处理压力。了解一下ffmpeg对Nvidia的GPU编码支持哪些参数，可以通过ffmpeg-hencoder=h264_nvenc可以看到编码的参数与x264相比有些类似，但少很多，不过关键的都在。解码时ffmpeg对它的参数支持查看：ffmpeg-hdecoder=h26
文章目录1.介绍1.1多GPU训练的命令1.2查看GPU状态pytorch多GPU训练启动方式项目代码2.代码讲解2.1单GPU训练训练参数说明训练脚本2.2多GPU训练训练参数说明主函数介绍3.训练时间对比4.源码1.介绍pytorch多GPU并行训练原理介绍，参考我之前的博客:pytorch中使用多GPU并行训练。1.1多GPU训练的命令（1）指定使用GPU：0运行脚本方式1：CUDA_VISIBLE_DEVICES=0python***.py方式2：在python脚本文件中添加如下内容进行指定importosos.environ["CUDA_VISIBLE_DEVICES"]="0"如果
