王旭*，沈啸彬 *, 张钊*

(淮北师范大学计算机科学与技术学院，淮北师范大学经济与管理学院，安徽 淮北)

*These authors contributed to the work equllly and should be regarded as co-first authors.
 

🌞欢迎来到深度学习的世界 
🌈博客主页：卿云阁

💌欢迎关注🎉点赞👍收藏⭐️留言📝

🌟本文由卿云阁原创！

🌠本阶段属于练气阶段，希望各位仙友顺利完成突破

📆首发时间：🌹2022年12月6日🌹

✉️希望可以和大家一起完成进阶之路！

🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

---

目录

🍈 配置文件

backbone配置文件

​编辑

🍊构成的元素

Conv ---CBA(convolution, batch normalization, activation)

关于SiLU--sigmoid linear unit

SPP(Spatial Pyramid Pooling)/SPPF(Spatial Pyramid Pooling Fast)结构

 C3 -- cross stage partial network with 3 convolutions

🍋项目结构

🍈 配置文件

     在yolov5中有好几种得配置文件，这几种配置文件只有下面的两个参数不同，其它部分都相同这两个参数是为了控制模型大小的。下面以yolov5l.yaml为例

depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

第一部分：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 80  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

nc: 80  # number of classes

这一部分代表模型的种类，对于coco数据集来说，有80个类别。

depth_multiple: 1.0  # model depth multiple

是为了控制层的重复的次数。它会和number相乘后取整，代表该层的重复的数量，

width_multiple: 1.0  # layer channel multiple

是为了控制输出特征图的通道数，它会和出特征图的通道数相乘，代表该层的输出通道数。

backbone配置文件

backone的配置在文件models/yolov5*.yaml中，下面以yolov5l.yaml为例，

backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

输入图片的大小是640*640*3

第0层：conv层

• 每一行代表yolo网络的每一层
• 第一列表示该层输入特征图的来源，-1表示指的是上一层的输出当成自己的输入。
• 第二列，是为了控制该层重复的次数。
• 第三列，指的是该层的名字。
• 下面的一个列表是该层输入的参数，比如第一行的64代表该层输出特征图的通道数。（最后的输出还要进行相关的处理）。6代表该层用的是一个6*6大小的卷积核。第一个2表示描边2，下一个2指的是步长是2。
• 后面的注释我们可以看到，通过该层之后特征图的大小变成原图的1/2.

第1层：conv层

• 通过该层之后特征图的大小变成原图的1/4.

第2层：C3层

• 通过该层之后特征图的大小不变.

第3层：conv层

• 通过该层之后特征图的大小变成原图的1/8.

第4层：C3层

• 通过该层之后特征图的大小不变.

第5层：conv层

• 通过该层之后特征图的大小变成原图的1/16.(40*40*512)

第6层：C3层(个数是9）

• 通过该层之后特征图的大小不变.

第7层：conv层

• 通过该层之后特征图的大小变成原图的1/16.(20*20*1024)

第8层：c3层(个数是3）

• 通过该层之后特征图的大小变成原图的1/16.(20*20*1024)

第9层：SPPF层

• 主要是对不同尺度特征图的融合。
• 特征图的大小的大小不变

 到第九层为止，整个backbone就结束了，这个部分会形成三个接口，

第4层的输出：

80*80*256

第6层的输出：

40*40*512

第9层的输出：

20*20*1024

head网络结构

层为止head包括两个部分，一个部分是Neck,一个部分是 Detect部分。

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
​
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
​
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
​
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
​
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第10层：conv层

20*20*512

第11层：Upsample层

• 不改变通道数，特征图的长和宽会增加一倍

40*40*512

第12层： Concat层

• 与第6层的输出进行特征图的融合。

40*40*1024

第13层：c3层

40*40*512

第14层：conv层

40*40*256

第15层：Upsample层

• 不改变通道数，特征图的长和宽会增加一倍

80*80*256

第16层： Concat层

• 与第4层的输出进行特征图的融合。

80*80*512

第17层：c3层

40*40*256

两个向下融合：

第18层：conv层

40*40*256

第19层： Concat层

• 与第14层的输出进行特征图的融合。

40*40*512

第20层：c3层

40*40*512

第21层：conv层

20*20*512

第22层： Concat层

• 与第10层的输出进行特征图的融合。

20*20*1024

第23层：c3层

20*20*1024

 Detect

• 是对第17，20，23层的输出进行检测。

🍊构成的元素

Conv ---CBA(convolution, batch normalization, activation)

class Conv(nn.Module):
    # Standard convolution
    def __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True):  # ch_in, ch_out, kernel, stride, padding, groups
        super().__init__()
        self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False)
        self.bn = nn.BatchNorm2d(c2)
        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())
​
    def forward(self, x):
        return self.act(self.bn(self.conv(x)))
​
    def forward_fuse(self, x):
        return self.act(self.conv(x))

关于SiLU--sigmoid linear unit

* sigmoid(x) = x / (e^-x + 1)

在yolov5中作者使用的是SiLU这个激活函数，用的这个函数有什么好处呢？

这个函数有一个极小值点，在模型训练的时候更有利于模型的收敛。

SPP(Spatial Pyramid Pooling)/SPPF(Spatial Pyramid Pooling Fast)结构

SPP 是何凯明15年在Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition中提出来的，在RCNN中第一阶段检测出来的候选框大小不一样，为了让这些候选框可以变成固定大小送进FC层，SPP就可以达到这一目的。

在YOLOV5中SPP的目的是进一步增大feature map的感受野，使得物体在不同的尺度下输入时都能够被很好的检测到。如下左图所示。

SPPF是YOLOV5作者突然有一天想出来的，他发现用连续三个5x5大小的kernal做polling可以达到同样的效果，如上右图所示。输入的feature map连续进入3个kernel size为5的卷积，然后cancat在一起，channel经过卷积升维到1024输出。SPPF在YOLO中的实现如下。

class SPPF(nn.Module):
    # Spatial Pyramid Pooling - Fast (SPPF) layer for YOLOv5 by Glenn Jocher
    def __init__(self, c1, c2, k=5):  # equivalent to SPP(k=(5, 9, 13))
        super().__init__()
        c_ = c1 // 2  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_ * 4, c2, 1, 1)
        self.m = nn.MaxPool2d(kernel_size=k, stride=1, padding=k // 2)
​
    def forward(self, x):
        x = self.cv1(x)
        with warnings.catch_warnings():
            warnings.simplefilter('ignore')  # suppress torch 1.9.0 max_pool2d() warning
            y1 = self.m(x)
            y2 = self.m(y1)
            return self.cv2(torch.cat((x, y1, y2, self.m(y2)), 1))

 C3 -- cross stage partial network with 3 convolutions

C3源自于CSPNet--cross stage patrial networksWongKinYiu/CrossStagePartialNetworks: Cross Stage Partial Networks (github.com), CSPNet主要有以下几个贡献：

• Strengthening learning ability of a CNN 现有的CNN在轻量化后，其精度大大降低，因此我们希望加强CNN的学习能力，使其在轻量化的同时保持足够的准确性。所提出的CSPNet可以很容易地应用于ResNet、ResNeXt和DenseNet。将CSPNet应用于上述网络后，计算量可从10%减少到20%，但在ImageNet[2]上进行图像分类任务的精度优于ResNet[7]、ResNeXt[39]、DenseNet[11]、HarDNet[1]、Elastic[36]和Res2Net[5]。
• Removing computational bottlenecks 过高的计算瓶颈会导致更多的计算周期来完成推理过程，或者一些算力单元经常闲置。因此，我们希望能够均匀分配CNN中各层的计算量，这样可以有效提升各计算单元的利用率，从而减少不必要的能耗。据悉，提出的CSPNet使得PeleeNet[37]的计算瓶颈减少了一半。此外，在基于MS COCO[18]数据集的物体检测实验中，我们提出的模型在基于YOLOv3的模型上测试时，可以有效降低80%的计算瓶颈。
• Reducing memory costs 动态随机存取存储器(DRAM)的晶圆制造成本非常昂贵，而且还占用了大量的空间。如果能有效降低存储器的成本，将大大降低ASIC的成本。此外，小面积的晶圆可以用于各种边缘计算设备。在减少内存使用方面，我们采用cross-channel pooling[6]，在特征金字塔生成过程中对特征图进行压缩。这样，提出的CSPNet与提出的对象检测器在生成特征金字塔时，可以减少PeleeNet上75%的内存使用量。

对于CSPNet这里不多赘述，下面我们看下YoloV5中的“简化版CSPNet”，C3结构，

class C3(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        # self.m = nn.Sequential(*(CrossConv(c_, c_, 3, 1, g, 1.0, shortcut) for _ in range(n)))
​
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(x)), 1))
        
class Bottleneck(nn.Module):
    # Standard bottleneck
    def __init__(self, c1, c2, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_, c2, 3, 1, g=g)
        self.add = shortcut and c1 == c2
​
    def forward(self, x):
        return x + self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))

---

🍋项目结构

    scripts是获取数据的一些脚本。下面的yaml是关于一些数据的定义，比如coco数据集，coco128指的是从coco数据集中取出128张用于测试。

models中的yaml指的是4个模型的配置文件

yolo.py指的是把模型翻译成模型的一些接口。

common放的是一些网络结构的定义

rus是我们运行的时候的一些输出文件。

每一次运行就会生成一个exp的文件夹。

 

utils这个里面主要是放的一些脚本信息，比如数据增强等。

weight

yolov5s.pt指的是预训练模型

detect.py是负责推理的文件

train.py 是训练的文件

 

Institutional Review Board Statement: Not applicable.

Informed Consent Statement: Not applicable.

Data Availability Statement: Not applicable.

Author Contributions:All authors participated in the assisting performance study and approved the paper.

Conflicts of Interest: The authors declare no conflict of interest