草庐IT

Spatio-Temporal

全部标签

【论文阅读】Progressive Spatio-Temporal Prototype Matching for Text-Video Retrieval

资料链接论文链接:https://openaccess.thecvf.com/content/ICCV2023/papers/Li_Progressive_Spatio-Temporal_Prototype_Matching_for_Text-Video_Retrieval_ICCV_2023_paper.pdf代码链接:https://github.com/imccretrieval/prost背景与动机文章发表于ICCV2023,来自中科大IMCC实验室。文本-视频检索是近年来比较新兴的领域,随着多模态和大模型的发展,这一领域也迸发出了前所未有的潜力。目前的主流方法是学习一个jointem

Temporal Modulation Network for Controllable Space-Time Video Super-Resolution阅读笔记

TemporalModulationNetworkforControllableSpace-TimeVideoSuper-Resolution可控时空视频超分辨率的时间调制网络 论文:https://arxiv.org/pdf/2104.10642v2.pdf代码:https://github.com/CS-GangXu/TMNet研究机构:南开、中科院、腾讯优图本篇笔记主要对整篇论文从头到尾进行阅读分析,本文内容有点多,主要是对不同部分的总结以及图例解释,如果只对模型原理部分有兴趣,可直接观看第四部分。本文为了详细说明各图、公式在各组件中的情况,所以对原文图片、公式做了切割和拼接,保证该内容

【CVPR 2023 论文解读】TriDet: Temporal Action Detection with Relative Boundary Modeling

发表时间:CVPR2023作者团队:北航,美团,JDExplore代码链接:GitHub-dingfengshi/TriDet:[CVPR2023]Codeforthepaper,TriDet:TemporalActionDetectionwithRelativeBoundaryModeling[CVPR2023]Codeforthepaper,TriDet:TemporalActionDetectionwithRelativeBoundaryModeling-GitHub-dingfengshi/TriDet:[CVPR2023]Codeforthepaper,TriDet:Temporal

使用 Temporal Fusion Transformer 进行时间序列预测

目前来看表格类的数据的处理还是树型的结构占据了主导地位。但是在时间序列预测中,深度学习神经网络是有可能超越传统技术的。为什么需要更加现代的时间序列模型?专为单个时间序列(无论是多变量还是单变量)创建模型的情况现在已经很少见了。现在的时间序列研究方向都是多元的,并且具有各种分布,其中包含更多探索性因素包括:缺失数据、趋势、季节性、波动性、漂移和罕见事件等等。通过直接预测目标变量往往是不够的,我们优势还希望系统能够产生预测区间,显示预测的不确定性程度。并且除了历史数据外,所有的变量都应该考虑在内,这样可以建立一个在预测能力方面具有竞争力的模型。所以现代时间序列模型应该考虑到以下几点:模型应该考虑多

论文笔记:Deep Spatio-Temporal Residual Networks for Citywide Crowd FlowsPrediction

2017AAAI使用时空残差网络ST-ResNet进行城市区域流入流出客流量预测1研究对象城市客流流入流出根据经纬度将城市划分为网格I×J 1.1难点空间依赖性时间依赖性外部影响2模型 3实验北京出租车数据+纽约自行车数据评价指标:RMSE   

[论文阅读笔记24]Social-STGCNN: A Social Spatio-Temporal GCNN for Human Traj. Pred.

论文:论文地址代码:代码地址作者在这篇文章中直接用GNN对目标的轨迹时空特征进行建模,并用时序CNN进行预测,代替了训练难度较大和速度较慢的RNN类方法.0.Abstract行人轨迹预测是一个比较有挑战性的任务,有着许多的应用.一个行人的轨迹不仅是由自己决定的,而且受其周围目标的影响.过去的方法都是学习每个行人自己的运动状态,然而本文的方法是用一个GNN对整个场景的行人之间的interaction进行建模.本文提出的方法叫Social-STGCNN,是在STGCNN(一个基于骨架的actionrecognization的方法)的基础上拓展到轨迹预测任务中的.1.Introduction过去的一

论文笔记:TIMESNET: TEMPORAL 2D-VARIATION MODELINGFOR GENERAL TIME SERIES ANALYSIS

ICLR20231intro时间序列一般是连续记录的,每个时刻只会记录一些标量之前的很多工作着眼于时间维度的变化,以捕捉时间依赖关系——>可以反映出、提取出时间序列的很多内在特征,比如连续性、趋势、周期性等但是现实时间序列数据中的时间序列通常是由很复杂的时间特征组成,不同的时间维度上的变化会糅杂在一起,使得建模时间维度的变化异常困难在深度学习领域,很多模型有很强的建模非线性的能力,因而可以捕获时间序列中一些复杂的时间维度变化。但是他们各有一些弊端RNN:基于马尔可夫假设(t-1时刻的观测影响t时刻的预测),建模连续时刻的时间序列特征这类方法经常难以建模长期时间依赖性同时由于不能并行,效率堪忧T

论文笔记:TIMESNET: TEMPORAL 2D-VARIATION MODELINGFOR GENERAL TIME SERIES ANALYSIS

ICLR20231intro时间序列一般是连续记录的,每个时刻只会记录一些标量之前的很多工作着眼于时间维度的变化,以捕捉时间依赖关系——>可以反映出、提取出时间序列的很多内在特征,比如连续性、趋势、周期性等但是现实时间序列数据中的时间序列通常是由很复杂的时间特征组成,不同的时间维度上的变化会糅杂在一起,使得建模时间维度的变化异常困难在深度学习领域,很多模型有很强的建模非线性的能力,因而可以捕获时间序列中一些复杂的时间维度变化。但是他们各有一些弊端RNN:基于马尔可夫假设(t-1时刻的观测影响t时刻的预测),建模连续时刻的时间序列特征这类方法经常难以建模长期时间依赖性同时由于不能并行,效率堪忧T

时序动作检测/定位(Temporal Action Detection)(Temporal Action Localization)-约40篇论文阅读笔记

1时序动作检测(TemporalActionDetection)(TemporalActionLocalization)-综述介绍1介绍2介绍3(老)综述2数据集介绍THUMOS14(时序动作检测)(本实验采用)THUMOS14测试集(用于可视化)单个视频THUMOS14的np文件THUMOS14的光流文件(google)或者THUMOS14的光流文件(腾讯云)EPIC-KITCHENS-100ActivityNet(最大的TAL数据集)3评价指标视频的tIOU_Loss4模型4.1I3D介绍论文(p3的图非常直观)I3D:Two-StreamInflated3DConvNets—CVPR20

【Unity SRP】实现基础的Temporal AA(未完)

写在前面【技术美术图形部分】简述主流及新的抗锯齿技术,花了点时间盘点了一些主流AA技术,再在SRP下的URP管线中实现一下目前游戏用得比较多的TAA。参考Unity的TAA(比较容易懂)以及sienaiwun的实现思路,也参考了很多文章(主要是这位大佬),可以说这次实现其实是对目前能找得到的实现思路的大融合!本文叙述会尽可能多地体现自己的理解,也算是一次学习。前置知识SRP?随意找了篇介绍SRP的,可以看看:UnityURP/SRP渲染管线浅入深出【匠】全称,可编程渲染管线。相信很多人跟我一样,入门阶段一直是基于Unity内置管线(Build-in)开展学习,直到后面接触到了HDRP(高清渲管