目录GAN的训练过程：L1和L2损失函数的区别基础概念相同点差异GAN的训练过程：1、先定义一个标签：real=1，fake=0。当然这两个值的维度是按照数据的输出来看的。再定义了两个优化器。用于生成器和判别器。2、随机生成一个噪声z。将z作为生成器的输入，输出gen_imgs（假样本）。3、计算生成器的损失定义：生成器的损失为g_loss。损失函数为adverisal_loss()。判别器为discriminator()。g_loss=adverisal_loss(discriminator(gen_imgs),real)g_loss.backward()optimizer_G.step()
这章感觉没什么需要特别记住的东西，感觉忘了回来翻一翻代码就好。3.1线性回归3.1.1线性回归的基本元素1.线性模型用符号标识的矩阵\(\boldsymbol{X}\in\mathbb{R}^{n\timesd}\)可以很方便地引用整个数据集中的\(n\)个样本。其中\(\boldsymbol{X}\)地每一行是一个样本，每一列是一种特征。对于特征集合\(\boldsymbol{X}\)，预测值\(\hat{\boldsymbol{y}}\in\mathbb{R}^n\)可以通过矩阵-向量乘法表示为\[\hat{\boldsymbol{y}}=\boldsymbol{Xw}+b\]然后求和的过
这章感觉没什么需要特别记住的东西，感觉忘了回来翻一翻代码就好。3.1线性回归3.1.1线性回归的基本元素1.线性模型用符号标识的矩阵\(\boldsymbol{X}\in\mathbb{R}^{n\timesd}\)可以很方便地引用整个数据集中的\(n\)个样本。其中\(\boldsymbol{X}\)地每一行是一个样本，每一列是一种特征。对于特征集合\(\boldsymbol{X}\)，预测值\(\hat{\boldsymbol{y}}\in\mathbb{R}^n\)可以通过矩阵-向量乘法表示为\[\hat{\boldsymbol{y}}=\boldsymbol{Xw}+b\]然后求和的过
（1）损失函数 YOLOv5的损失主要由三个部分组成：Classesloss，分类损失，采用BCEloss，只计算正样本的分类损失。Objectnessloss，obj置信度损失，采用BCEloss，计算的是所有样本的obj损失。注意这里的obj指的是网络预测的目标边界框与GTBox的CIoU。Locationloss，定位损失，采用CIoUloss，只计算正样本的定位损失。 针对三个预测特征层（P3,P4,P5）上的obj损失采用不同的权重。在源码中，针对预测小目标的预测特征层（P3）采用的权重是4.0，针对预测中等目标的预测特征层（P4）采用的权重是1.0，针对
（1）损失函数 YOLOv5的损失主要由三个部分组成：Classesloss，分类损失，采用BCEloss，只计算正样本的分类损失。Objectnessloss，obj置信度损失，采用BCEloss，计算的是所有样本的obj损失。注意这里的obj指的是网络预测的目标边界框与GTBox的CIoU。Locationloss，定位损失，采用CIoUloss，只计算正样本的定位损失。 针对三个预测特征层（P3,P4,P5）上的obj损失采用不同的权重。在源码中，针对预测小目标的预测特征层（P3）采用的权重是4.0，针对预测中等目标的预测特征层（P4）采用的权重是1.0，针对
YOLOV1YOLOV1最后生成7×7的网格(gridcell)，每个gridcell会产生两个预测框(boundingbox)，每个gridcell产生的两个预测框只能预测同一种类物体，也就是说YOLOV1最多只能预测49种物体，两个预测框中哪一个与标注框的IOU大就选哪一个(此即正样本)，另外一个会被舍弃(负样本)；特殊情况(如果有两个相同种类的物体中心点都落在同一个gridcell中，此时这个gridcell的两个预测框有可能都与真实框有最大的IOU，也即两个预测框都为正样本，这也就是说YOLOV1最多能预测49×2个目标)。如果标注框的中心点落在哪一个gridcell中就由这个grid
YOLOV1YOLOV1最后生成7×7的网格(gridcell)，每个gridcell会产生两个预测框(boundingbox)，每个gridcell产生的两个预测框只能预测同一种类物体，也就是说YOLOV1最多只能预测49种物体，两个预测框中哪一个与标注框的IOU大就选哪一个(此即正样本)，另外一个会被舍弃(负样本)；特殊情况(如果有两个相同种类的物体中心点都落在同一个gridcell中，此时这个gridcell的两个预测框有可能都与真实框有最大的IOU，也即两个预测框都为正样本，这也就是说YOLOV1最多能预测49×2个目标)。如果标注框的中心点落在哪一个gridcell中就由这个grid
BCE（BinaryCrossEntropy）损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结图像二分类问题—>多标签分类二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型的输出就行了。因为二分类只有正样本和负样本，并且两者的概率之和为1，所以不需要预测一个向量，只需要输出一个概
BCE（BinaryCrossEntropy）损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结图像二分类问题—>多标签分类二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型的输出就行了。因为二分类只有正样本和负样本，并且两者的概率之和为1，所以不需要预测一个向量，只需要输出一个概
目录1、Nan和INF2、出现Nan和INF常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高-->梯度爆炸进-->Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、解决方案：本质就是调整输入数据在模型运算过程中的值域4.1、模型权重加入正则化，约束参数的大小4.2、模型中加入BatchNormalization，归一化数据4.3、使用带上限的激活函数，例如relu6函数4.4、在losse函数运算前进行值
