Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

一、安装TimeSformergithub:GitHub-facebookresearch/TimeSformer:Theofficialpytorchimplementationofourpaper"IsSpace-TimeAttentionAllYouNeedforVideoUnderstanding?" 直接按照官方步骤安装即可，torchvision在安装pytorch时就一起安装好了，我这里选择安装1.8版本的pytorch,可以根据自己的cuda版本自行选择pytorch安装：PreviousPyTorchVersions|PyTorchcondainstallpytorch==1

今天读的论文题目是IsSpace-TimeAttentionAllYouNeedforVideoUnderstanding?FacebookAI提出了一种称为TimeSformer视频理解的新架构，这个架构完全基于transformer，不使用卷积层。它通过分别对视频的时间和空间维度应用自注意力机制，有效地捕捉动作的时空特征。自transformer提出以来，在NLP领域得到了非常广泛的使用，是机器翻译以及语言理解中最常用的方法。相比于现在的3DCNN，TimeSformer训练要快3倍，推理的时间为它的1/10。除此之外，TimeSformer可以在更长的视频片段上训练更大的模型。当前的3D

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）专栏订阅：深度学习入门到进阶专栏深度学习应用项目实战篇深度学习应用篇

mmaction2部署这里先在windows上部署测试condacreate-nmmaction2--cloneopenmmlabpipinstall-rrequirements/build.txtpipinstall-v-e.注意mmcv-full版本小于1.4.2测试importtorchfrommmaction.apisimportinit_recognizer,inference_recognizerconfig_file='configs/recognition/tsn/tsn_r50_video_inference_1x1x3_100e_kinetics400_rgb.py'dev

mmaction2部署这里先在windows上部署测试condacreate-nmmaction2--cloneopenmmlabpipinstall-rrequirements/build.txtpipinstall-v-e.注意mmcv-full版本小于1.4.2测试importtorchfrommmaction.apisimportinit_recognizer,inference_recognizerconfig_file='configs/recognition/tsn/tsn_r50_video_inference_1x1x3_100e_kinetics400_rgb.py'dev