论文笔记|【CVPR-2023】ActivatingMorePixelsinImageSuper-ResolutionTransformer抛砖引玉了，如有不同意见欢迎讨论。目录论文笔记|【CVPR-2023】ActivatingMorePixelsinImageSuper-ResolutionTransformer1Motivation2Contribution3Method3.1Overview3.2HAB(HybridAttentionBlock)3.2.1ChannelAttention3.2.2CAB3.2.3OCAB(OverlappingCross-AttentionBlock)
【论文速递】WACV2023-一种全卷积Transformer的医学影响分割模型【论文原文】：TheFullyConvolutionalTransformerforMedicalImageSegmentation【作者信息】：AthanasiosTragakis,ChaitanyaKaul,RoderickMurray-Smith,DirkHusmeier论文：https://openaccess.thecvf.com/content/WACV2023/papers/Tragakis_The_Fully_Convolutional_Transformer_for_Medical_Image_S
1.前言：BIT是用transformer结构进行变化检测的一个孪生网络，它的backbone用的是Resnet结构，具体结构分析可以参考这个链接的作者写的，非常清楚,http://t.csdn.cn/rA9sH。下面就是来讲我自己的实现过程，比较简单。2.数据结构首先，在官网找到相应的代码，下载解压到自己的本地。github上面的链接为：https://github.com/justchenhao/BIT_CD然后下载测试数据集LEVIR-CD，链接为：https://justchenhao.github.io/LEVIR/这个BIT需要的数据结构跟直接下载的LEVIR-CD的数据结构不太一
论文背景标题：SPECTER:Document-levelRepresentationLearningusingCitation-informedTransformers摘要：表示学习是自然语言处理系统的关键组成部分。像BERT这样的最新Transformer语言模型学习了强大的文本表示，但这些模型针对标记和句子级别的训练目标，并不利用相关性信息，这限制了它们在文档级表示方面的能力。对于科学文献的应用，如分类和推荐，嵌入提供了强大的终端任务性能。我们提出了SPECTER，一种基于预训练Transformer语言模型的科学文档的文档级嵌入生成方法，其依据一个强大的文档级相关性信号：引用图。与现有
2022ICML1Intro长时间序列问题是一个研究很广泛的问题RNN以及变体会遇到梯度消失/梯度爆炸，这会在很大程度上限制他们的表现Transformer的方法会导致很高的计算复杂度，以及很大的内存消耗，这也会使得在长时间序列上使用Transformer很吃力近来有方法优化Transformer，使其计算复杂度降低但他们大多的思路是少取一些QK对，这就可能导致信息的丢失，进而影响预测的精准度有与此同时，使用Transformer的方法，会在一定程度上难以捕获时间序列的整体特征/分布 比如上图，不难发现预测的结果和实际值，二者的分布有着一定的差距这可能由于Transformer使用的是poin
?该教程为改进进阶指南，属于《芒果书》?系列，包含大量的原创首发改进方式,所有文章都是全网首发原创改进内容?，本篇是MobileViT系列三个版本中的第三版论文结合YOLOv7改进?本篇文章基于YOLOv7、YOLOv7-tiny等网络：首发最新结合MobileViTv3系列最强版本！：轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征,本文将结合YOLO系列应用。重点：?有不少同学已经反应专栏的教程提供的网络结构在数据集上有效涨点!!!重点：?进阶专栏内容持续更新中?☁️?️，订阅了该专栏的读者务必·私信博主·加·全新创新点进阶交流群·群内不定时会发一些其他未公开的T
?该教程为改进进阶指南，属于《芒果书》?系列，包含大量的原创首发改进方式,所有文章都是全网首发原创改进内容?，本篇是MobileViT系列三个版本中的第三版论文结合YOLOv7改进?本篇文章基于YOLOv7、YOLOv7-tiny等网络：首发最新结合MobileViTv3系列最强版本！：轻量化Transformer视觉转换器，简单有效地融合了本地全局和输入特征,本文将结合YOLO系列应用。重点：?有不少同学已经反应专栏的教程提供的网络结构在数据集上有效涨点!!!重点：?进阶专栏内容持续更新中?☁️?️，订阅了该专栏的读者务必·私信博主·加·全新创新点进阶交流群·群内不定时会发一些其他未公开的T
TMI2022|nnFormer：利用交织3D卷积和Transformer进行医学分割的新方案0AbstractTransformer作为自然语言处理的首选模型，在医学影像界引起了很少的关注。考虑到利用长期依赖关系的能力，Transformer有望帮助非典型卷积神经网络克服其空间归纳偏差的固有缺点。然而，大多数最近提出的基于Transformer的分割方法只是将Transformer作为辅助模块来帮助将全局上下文编码为卷积表示。为了解决这个问题，我们引入了nnFormer(not-anotherTransformer)，这是一种用于3D医学图像分割的3DTransformer。nnFormer
原文链接：https://www.techbeat.net/article-info?id=4467作者：seven_视频字幕生成目前已成为工业界AI创作领域非常火热的研究话题，这一技术可以应用在短视频的内容解析和讲解中，AI讲故事的技术已经越来越成熟。而在学术界，研究者们更加倾向于探索字幕生成的评价标准以及可扩展性。论文链接：https://arxiv.org/abs/2211.15103代码链接：https://github.com/UARK-AICV/VLTinT本文介绍一篇刚刚被人工智能领域顶级会议AAAI2023录用的文章，该文不再局限于传统的短视频字幕生成任务，而是在此基础上更进一
原文链接：https://www.techbeat.net/article-info?id=4467作者：seven_视频字幕生成目前已成为工业界AI创作领域非常火热的研究话题，这一技术可以应用在短视频的内容解析和讲解中，AI讲故事的技术已经越来越成熟。而在学术界，研究者们更加倾向于探索字幕生成的评价标准以及可扩展性。论文链接：https://arxiv.org/abs/2211.15103代码链接：https://github.com/UARK-AICV/VLTinT本文介绍一篇刚刚被人工智能领域顶级会议AAAI2023录用的文章，该文不再局限于传统的短视频字幕生成任务，而是在此基础上更进一
