作者发现:随机生成的摘要能够达到与最先进的方法相似甚至更好的性能分数。有时,完全随机方法的性能超过了人工注释器。
分析原因:分数的形成主要取决于视频分割,尤其是片段长度的分布。这主要是由于广泛使用的子集选择算法(背包算法)导致。在大多数情况下,原本的评估方式完全忽略了重要性分数的贡献。因此设计了新的评估方式
两个概念:
Keyframes:一些孤立的帧 组成摘要
Keyshots:一些镜头(一组连续的帧)组成摘要
以往的评估方式:

评估流程(基于keyshots,连续镜头):
预测每一帧的重要性分数 -> 连续帧的视频分段(均匀分段、单峰双峰分段等等)->用背包算法选一些视频段作为摘要 -> 准确率和召回率计算F1

yi ∈ {0, 1},表示是否选择该帧作为摘要帧
发现1:随机生成的重要性分数和主流算法预测出来的重要性分数 F1 score差不多
发现2:重要性分数对F1 score影响不大,分割的方式影响很大
原因:使用背包策略导致的。背包策略会尽可能地选择更多的短片段,避免长片段(当存在A+B分数>=C且长度<C时,会选择A+B)也就是说,会尽可能的选择更多更短的视频片段的组合作为摘要。例如,双峰分割从模式为 30 帧和 90 帧的两个分布中得出一个片段长度;因此,我们可以粗略地说,较长的段占据了总长度的三分之二。如果这些较长的片段都被丢弃,则生成的摘要仅包含原始视频的其余三分之一。如果我们想生成一个长度为原始视频时长15%的摘要,那么大部分片段都会被用来生成摘要,无论他的重要性分数如何。如果所有段的长度相同,则重要性分数会产生更大的影响
于是设计了新的评估方法:
作者使用重要度大小排序与人类标注重要度的排序结果的相关性来评估模型预测结果的好坏。具体来说,就是先将每帧分别按照模型预测的重要度和人类标注的重要度从大到小排序。然后用Kendall’s τ、 Spearman’s ρ相关系数来评估两个排序结果的相关程度。相关程度越高,模型预测结果越好;相关程度越低,模型预测越差。

补充数据集介绍:
SumMe 数据集,ground-truth以 keyshots 的形式提供
TVSum 提供由多个用户注释的帧级重要性分数。转化为keyshots 的形式进行评估,方法为:
为了将重要性分数转换为基于keyshots的摘要,我们遵循 [40] 中的过程,其中包括以下步骤:1)使用 KTS [29] 对视频进行时间分段以生成不相交的间隔; 2)计算平均间隔得分并将其分配给间隔中的每一帧; 3)根据得分对视频中的帧进行排名; 4)应用背包算法[34]选择帧,使总长度低于某个阈值,从而产生该视频的基于keyshot的ground-truth摘要。
我们首先应用 KTS [29] 将测试视频时间分割成不相交的间隔。接下来,如果一个区间包含一个关键帧,我们将该区间中的所有帧标记为 1,并将该区间中没有关键帧的所有帧标记为 0。这会为视频生成基于 keyshot 的摘要。为了最小化生成的keyshots的数量,我们根据区间中的关键帧数除以它们的长度对区间进行排序,最后应用背包算法[34]来确保生成的基于keyshots的摘要长度最大为15%原始测试视频。
视频摘要常用的数据集及划分形式:

几个月前,我读了一篇关于rubygem的博客文章,它可以通过阅读代码本身来确定编程语言。对于我的生活,我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗? 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem?,我们在StackOverflow上找到一个类似的问题:
一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称
动漫制作技巧是很多新人想了解的问题,今天小编就来解答与大家分享一下动漫制作流程,为了帮助有兴趣的同学理解,大多数人会选择动漫培训机构,那么今天小编就带大家来看看动漫制作要掌握哪些技巧?一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性,以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料,可以是手绘也可以是3d软件创建。在此步骤中,要注意的问题是色彩和平面布局。三、动漫制作制作完成后,加工成型。完成不同的表现形式后,就要对设计稿进行加工处理,使加工的难易度降低,并得到一些基本准确的概念,以便于后续的大样、准确的尺寸制定。四、
2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
Transformers开始在视频识别领域的“猪突猛进”,各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解,本篇主要介绍了FBAI团队的TimeSformer,这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用,就请点赞、收藏、关注!paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
我在Ruby程序中有两个URI。一个肯定是绝对URI,另一个可能是绝对URI或相对URI。我想在第一个的上下文中将第二个转换为绝对URI,所以如果第一个是http://pupeno.com/blog第二个是/about,结果应该是http://pupeno.com/about.有什么想法吗? 最佳答案 Ruby的内置URI和Addressablegem,做这个简短的工作。我更喜欢Addressable,因为它功能更全面,但URI是内置的。require'uri'URI.join('http://pupeno.com/blog','/
我有一个Builder类,可让您添加到其中一个实例变量:classBuilderdefinitialize@lines=[]enddeflinesblock_given??yield(self):@linesenddefadd_line(text)@lines现在,我该如何改变它my_builder=Builder.newmy_builder.lines{|b|b.add_line"foo"b.add_line"bar"}pmy_builder.lines#=>["foo","bar"]进入这个?my_builder=Builder.newmy_builder.lines{add_li
谁能提供一个使用HTTParty和digestauth的例子?我在网上找不到例子,希望有人能提供一些帮助。谢谢。 最佳答案 您可以在定义类时使用digest_auth方法设置用户名和密码classFooincludeHTTPartydigest_auth'username','password'end 关于ruby-HTTParty摘要认证,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questi
在我的代码中,我使用自动加载进行惰性评估,这样我可以更快地加载程序并在需要时加载文件,我没有看到很多人使用它,但在Thin项目中我注意到自动加载已被广泛使用,反正只是想知道使用它是否有任何风险。 最佳答案 autoload是notthreadsafe并将在未来的Ruby版本中弃用。这是proofbyMatz(ruby的创造者)。 关于ruby-使用autoload与ruby中的require进行惰性评估?,我们在StackOverflow上找到一个类似的问题: