截止2022年7月25日，DINO是目标检测的SOTA。本人根据源码的复现感受和DINO论文的精读心得，撰写本篇博客，希望对你有所帮助。目录一、摘要二、结论三、解析DINO模型（1）概述DINO模型借鉴了前人的那些工作（2）概述DINO模型四、创新方法（1）什么是 ContrastiveDeNoisingTraining？（2）什么是MixedQuerySelection？（3）什么是 LookForwardTwice？五、实验方面（1）数据集和网络骨干（2）实现细节六、熠熠生辉的数据可视化一、摘要我们推出DINO(DETRwithImproveddeNoisinganchOrboxes)，一
UNet-2022:ExploringDynamicsinNon-isomorphicArchitecture论文地址:https://arxiv.org/pdf/2210.15566.pdf代码地址:https://bit.ly/3ggyD5G摘要 最近的医学图像分割模型大多是混合的，将自注意力和卷积层集成到非同构架构中。然而，这些方法的一个潜在缺点是它们未能直观地解释为什么这种混合组合方式是有益的，这使得后续工作难以在它们之上进行改进。为了解决这个问题，我们首先分析了自注意力和卷积的权重分配机制之间的差异。基于此分析，我们建议构建一个并行的非同构块，该块利用自注意力和卷积的优点，并具
UNet-2022:ExploringDynamicsinNon-isomorphicArchitecture论文地址:https://arxiv.org/pdf/2210.15566.pdf代码地址:https://bit.ly/3ggyD5G摘要 最近的医学图像分割模型大多是混合的，将自注意力和卷积层集成到非同构架构中。然而，这些方法的一个潜在缺点是它们未能直观地解释为什么这种混合组合方式是有益的，这使得后续工作难以在它们之上进行改进。为了解决这个问题，我们首先分析了自注意力和卷积的权重分配机制之间的差异。基于此分析，我们建议构建一个并行的非同构块，该块利用自注意力和卷积的优点，并具
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
一、Transformer中为什么要使用位置编码positionalencoding在《AttentionIsAllYouNeed》这篇论文中首次提到了transformer模型，transformer模型在输入端用了一个位置编码（positionalencoding），其主要目的是增加相对位置信息，使其可以更好的利用每个元素相互之间的位置关系二、具体编码实现方式论文作者使用的是正余弦函数进行编码，这时可能会有人产生了疑惑，为什么要使用这么复杂的编码方式呢，这里举个例子，一句话“你好吗”用“1，0，0”、“0，1，0”、“0，0，1”的独热编码不可以么，编码方式还会更加的简单，为什么要用下图这
一、Transformer中为什么要使用位置编码positionalencoding在《AttentionIsAllYouNeed》这篇论文中首次提到了transformer模型，transformer模型在输入端用了一个位置编码（positionalencoding），其主要目的是增加相对位置信息，使其可以更好的利用每个元素相互之间的位置关系二、具体编码实现方式论文作者使用的是正余弦函数进行编码，这时可能会有人产生了疑惑，为什么要使用这么复杂的编码方式呢，这里举个例子，一句话“你好吗”用“1，0，0”、“0，1，0”、“0，0，1”的独热编码不可以么，编码方式还会更加的简单，为什么要用下图这
UNETR:Transformersfor3DMedicalImageSegmentationUNETR：用于三维医学图像分割的TransformerPublished:Oct2021Publishedin:IEEEWinterConferenceonApplicationsofComputerVision(WACV)2022论文：https://arxiv.org/abs/2103.10504代码：https://monai.io/research/unetr摘要： 过去十年以来，具有收缩路径和扩展路径（编码器和解码器）的全卷积神经网络（FCNNs）在各种医学图像分割应用中表现突出。在这些
UNETR:Transformersfor3DMedicalImageSegmentationUNETR：用于三维医学图像分割的TransformerPublished:Oct2021Publishedin:IEEEWinterConferenceonApplicationsofComputerVision(WACV)2022论文：https://arxiv.org/abs/2103.10504代码：https://monai.io/research/unetr摘要： 过去十年以来，具有收缩路径和扩展路径（编码器和解码器）的全卷积神经网络（FCNNs）在各种医学图像分割应用中表现突出。在这些
TranAD架构模型构建： ={𝑥1,...,𝑥𝑇},表示一个大小为T的带有时间戳的数据点序列，其中，𝑥𝑡满足特定的时间戳𝑡和𝑥t∈R𝑚，单变量设置是其中𝑚=1的特殊情况。异常检测：给定一个训练输入时间序列，对于长度为的任意时间的测试时间序列，并且与训练序列的模态相同的作为训练序列，我们需要预测Y={𝑦1，.，𝑦}，其中𝑦t ∈{0，1}表示测试集下第t个时间戳的数据点是否异常(1表示异常数据点)。异常诊断:基于上述训练和测试时间序列，我们需要预测Y={𝑦1，.，𝑦} 数据预处理：时序数据分析：long-termtrends、locality(short-termtrends)对数据进行了标
