1.swin-transformer网络结构实际上，我们在进行代码复现时应该是下图,接下来我们根据下面的图片进行分段实现2.PatchPartition&PatchEmbedding首先将图片输入到PatchPartition模块中进行分块，即每4x4相邻的像素为一个Patch，然后在channel方向展平（flatten）。假设输入的是RGB三通道图片，那么每个patch就有4x4=16个像素，然后每个像素有R、G、B三个值所以展平后是16x3=48，所以通过PatchPartition后图像shape由[H,W,3]变成了[H/4,W/4,48]。然后在通过LinearEmbeding层对
目录卷积神经网络前言卷积运算：卷积运算中几个常用的参数1.padding2.stride3.MaxPoolingLayer实战演练设计一个卷积神经网络GPU的使用整体代码：运行结果卷积神经网络前言若将图像数据输入全连接层，可能会导致丧失一些位置信息卷积神经网络将图像按照原有的空间结构保存，不会丧失位置信息。卷积运算：1.以单通道为例：将将input中选中的部分与kernel进行数乘：以上图为例对应元素相乘结果为211，并将结果填入output矩阵的左上角得到：最终得到的结果为：2.三通道卷积三个通道分别利用三个卷积核进行计算，并将结果相加得到最终定格结果。那么我们可以得到n个通道的卷积过程若希
论文名称：TransformersinTimeSeries:ASurvey论文下载：https://arxiv.org/abs/2202.07125论文源码：https://github.com/qingsongedu/time-series-transformers-review论文作者：阿里巴巴达摩院论文年份：2022这篇论文的源Github仓库里，对参考文献进行了归类，并给出了论文地址，非常清晰。根据Transformer的架构和应用进行论文分类，对了解Transformer在时间序列中的应用大有裨益。Transformer相关知识已经在之前的博客中介绍过了：图解Word2Vec图解Tr
论文名称：TransformersinTimeSeries:ASurvey论文下载：https://arxiv.org/abs/2202.07125论文源码：https://github.com/qingsongedu/time-series-transformers-review论文作者：阿里巴巴达摩院论文年份：2022这篇论文的源Github仓库里，对参考文献进行了归类，并给出了论文地址，非常清晰。根据Transformer的架构和应用进行论文分类，对了解Transformer在时间序列中的应用大有裨益。Transformer相关知识已经在之前的博客中介绍过了：图解Word2Vec图解Tr
1SoftMax层设计1.1softmaxSoftMax函数的作用是输入归一化，计算各种类的概率，即计算0-9数字的概率，SoftMax层的原理图如图所示，输入和输出均为32位宽的10个分类，即32x10=320本项目softmax实现逻辑为：指数计算(通过exponent实现)计算指数和(通过floatAdd实现)求指数和倒数(通过floatReciprocal实现)计算每个元素的softmax值(通过floatMult实现)1.2exponent每个输入分别输入到各自的exponent模块，计算指数，该模块的输入和输出位宽均为32位，输入1个数，计算输出1个指数exponent模块展开原理
1SoftMax层设计1.1softmaxSoftMax函数的作用是输入归一化，计算各种类的概率，即计算0-9数字的概率，SoftMax层的原理图如图所示，输入和输出均为32位宽的10个分类，即32x10=320本项目softmax实现逻辑为：指数计算(通过exponent实现)计算指数和(通过floatAdd实现)求指数和倒数(通过floatReciprocal实现)计算每个元素的softmax值(通过floatMult实现)1.2exponent每个输入分别输入到各自的exponent模块，计算指数，该模块的输入和输出位宽均为32位，输入1个数，计算输出1个指数exponent模块展开原理
概述本篇内容仅介绍卷积层，池化层等网络结构部分和构建原理，以及卷积的一些前提知识。全连接层的内容和分类模型及损失函数的构建优化和全连接神经网络相同，这里不再讲解。神经网络模型构建及算法介绍：https://blog.csdn.net/stephon_100/article/details/125452961卷积神经网络是一种深层前馈神经网络．用不同的卷积核对同一个图像进行卷积其实就是用卷积核对图像进行滤波以提取不同的特征。所以卷积神经网络模型也是自动提取特征的模型，附带分类功能。假设卷积层的输入神经元个数为M，卷积大小为K,步长为S，在输入两端各填补P个0，那么该卷积层的神经元数量为(M-K+
在学习Transformer模型过程中不可避免的一个过程便是要对序列进行位置编码，在Transformer中分为固定位置编码与可学习的位置编码，其一般采用固定位置编码中的正余弦位置编码方式。今天便以DETR模型为例，介绍正余弦编码的原理与实现过程。首先给出其公式：创建mask这里的mask是DETR的骨干网络在对图像进行特征提取时为将所有图片统一到相同大小而采取填充方式生成的，主要是为了区别那块是填充的信息，这些信息在我们后面的注意力计算过程与位置编码过程中是不考虑的。假设mask为4×4大小，输入图像大小为3×3。a=np.array([[1,2,3],[4,5,6],[7,8,9]])#输
1.PCB数据集介绍PCB是最具竞争力的产业之一，其产品的优良则关系到企业的发展。由于产品外观缺陷的种类非常广泛，所以较一般电子零部件的缺陷检测更加困难。PCB板缺陷包括短路、多铜及少铜、断路、缺口、毛刺等。利用深度学习技术采用人工智能学习PCB图像，可以分析复杂的图像，大幅提升自动化视觉检测的图像判读能力和准确度，并可将缺陷进行分类。针对不同产品不同的缺陷标准，智能系统能够灵活应对。PCB数据集共有六种缺陷，分别是"missing_hole","mouse_bite","open_circuit","short","spur","spurious_copper"，缺陷属于小目标缺陷检测下图为
前言注意力机制一直是一个比较热的话题，其实在很早之前就提出了，我们在学习图像分类时在SENet就见到过（直通车：经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现））自从谷歌发表了《AttentionIsAllYouNeed》这篇论文后，注意力机制就真正火起来了，这篇论文本来是NLP领域的，不过在CV领域也有越来越多人开始引入注意力机制。本来这部分想放在论文里讲的，但最近学习过程中发现还挺多拓展的内容，所以这篇我们就来详细看一下这些注意力机制吧！ 🍀本人Transformer相关文章导航： 【Transformer系列（1）】encoder（编码器）
