草庐IT

android ffmpeg 仿剪映播放器 剪辑视频 预览条 快速精准抽帧

不辣大叔 2023-04-13 原文

android ffmpeg 仿剪映播放器 剪辑视频 预览条 快速精准抽帧

由于本人想学习音视频相关的东西,所以找了剪映作为借鉴,通过仿照剪映的功能学习音视频相关的东西,所以有了这个项目
暂时这个项目只有仿照剪映,剪辑的预览条的快速抽帧,精准显示,以及播放器的播放和随预览条的滚动逐帧预览。本项目的抽帧显示速度和剪映还有一定的差距,但是和快影的抽帧速度差不多了。
本项目主要有三块,一个是使用的meitu开源的timeLine,也就是预览条的UI,第二部分是视频播放器,使用ffmpeg写的一个简单的播放器,将与v数据交给Java层的opengle 去渲染显示。第三部分是预览条的解码抽帧,也是通过ffmpeg去解码,然后结合UI去处理解码的时机,显示,缓存等问题。

项目地址:https://github.com/Destroyer716/FFmpegVideoRange2 欢迎star

开局一张图
这是剪映的预览条抽帧效果
这是快手的快影预览抽帧效果
下面两个动图是本项目的预览抽帧效果

大概的思路

某位大佬曾经分析过类似剪映预览条抽帧的思路:

1.每一个要显示的帧的时间是确定的,因为间隔是固定的。

2.既然要显示的帧的时间是确定的,那么在实际要显示的时候,可以根据要即将要解码的帧与当 前已解码的帧是否在同一个GOP,如果在同一个GOP,那么就通过顺序解码的方式。如果不在同一个GOP,那么就要先seek,再顺序解码到需要的帧。

3.因为预览条上面显示的每一帧的实际宽高都非常小,所以可以将bitmap压缩到很小,大概10kb以内,这样就可以充分利用缓存,提前解码放入缓存,加快显示的速度。这里不仅可以用内存缓存,还可以用磁盘缓存,已经解码的可以存到磁盘,下次就可以直接拿。

4.充分利用多解码器解码,或者多线程解码。

5.解析nal header 获取 nal_ref_idc 语法元素的值,如果为0,则可以丢弃不解码,因为2bit的nal_ref_idc,标识NALU的重要性,值越大,重要性越高。当解码器处理不过来时,可以丢掉重要性为0的

forbidden_zero_bitnal_ref_idcnal_unit_type
1 bit2 bit5 bit
以上就是大致的一个思路,本项目也基本使用的是这个思路,稍有不同的是,第3点,本项目只用了磁盘缓存,并且没有使用提前解码的方式,而是通过获取当前显示再屏幕上的item,所属的时间范围,只解码这个范围内的部分(剪映基本也是这么处理的)。
同时本项目会在拿到需要处理的视频,初始化后,将当前视频所有I帧的时间节点获取出来,以便在后面判断是需要顺序解码,还是需要seek。
这里就没有贴代码了,重点在思路,想看代码和效果的可以去github下载下来,跑一跑,本项目仅仅一个demo,没有做兼容,没有做架构,所以不能直接用于正式项目,然后也希望找一些同好们,一起学习交流。

有关android ffmpeg 仿剪映播放器 剪辑视频 预览条 快速精准抽帧的更多相关文章

  1. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题,今天小编就来解答与大家分享一下动漫制作流程,为了帮助有兴趣的同学理解,大多数人会选择动漫培训机构,那么今天小编就带大家来看看动漫制作要掌握哪些技巧?一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性,以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料,可以是手绘也可以是3d软件创建。在此步骤中,要注意的问题是色彩和平面布局。三、动漫制作制作完成后,加工成型。完成不同的表现形式后,就要对设计稿进行加工处理,使加工的难易度降低,并得到一些基本准确的概念,以便于后续的大样、准确的尺寸制定。四、

  2. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  3. TimeSformer:抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”,各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解,本篇主要介绍了FBAI团队的TimeSformer,这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用,就请点赞、收藏、关注!paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  4. ruby - 如何以表格格式快速打印 Ruby 哈希值? - 2

    有没有办法快速将表格格式的ruby​​哈希打印到文件中?如:keyAkeyBkeyC...1232343451253474456...其中散列的值是不同大小的数组。还是使用双循环是唯一的方法?谢谢 最佳答案 试试我写的这个gem(在表中打印散列、ruby对象、ActiveRecord对象):http://github.com/arches/table_print 关于ruby-如何以表格格式快速打印Ruby哈希值?,我们在StackOverflow上找到一个类似的问题:

  5. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID? - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它,以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7,这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  6. ruby - 如何以编程方式将 mp3 转换为 itunes 可播放的 aac/m4a 文件? - 2

    我一直在寻找一种以编程方式或通过命令行将mp3转换为aac的方法,但没有成功。理想情况下,我有一段代码可以从我的Rails应用程序中调用,将mp3转换为aac。我安装了ffmpeg和libfaac,并能够使用以下命令创建aac文件:ffmpeg-itest.mp3-acodeclibfaac-ab163840dest.aac当我将输出文件的名称更改为dest.m4a时,它无法在iTunes中播放。谢谢! 最佳答案 FFmpeg提供AAC编码功能(如果您已编译它们)。如果您使用的是Windows,则可以从here获取完整的二进制文件。

  7. 电脑启动后显示器黑屏怎么办?排查下面4个问题,快速解决 - 2

    电脑启动出现显示器黑屏是一个相当常见的问题。如果您遇到了这个问题,不要惊慌,因为它有很多可能的原因,可以采取一些简单的措施来解决它。在本文中,小编将介绍下面4种常见的电脑启动后显示器黑屏的原因,排查这些原因,快速解决! 演示机型:联想Ideapad700-15ISK-ISE系统版本:Windows10一、显示器问题如果出现电脑启动后显示器黑屏的情况。那么首先您需要检查一下显示器是否正常工作。您可以通过更换另一个显示器或将当前显示器连接到另一台计算机来检查显示器是否存在问题。如果问题仍然存在,那么您可以排除显示器故障的可能性。 二、显卡问题如果您的电脑配备了独立显卡,那么显卡故障也可能是导致电脑

  8. ruby - 如何播放 mp3 文件? - 2

    我如何用ruby​​编写一个脚本,当从命令行执行时播放mp3文件(背景音乐)?我试过了run="mplayer#{"/Users/bhushan/resume/m.mp3"}-aosdl-vox11-framedrop-cache16384-cache-min20/100"system(run)但它也不起作用,以上是播放器特定的。如果用户没有安装mplayer怎么办。有没有更好的办法? 最佳答案 我一般都是这样pid=fork{exec'mpg123','-q',file} 关于ruby

  9. ruby - 使单元测试快速失败以进行突变测试 - 2

    mutationtesting遇到一个问题是它很慢,因为默认情况下您会为每个生成的突变执行完整的测试运行(测试文件或一组测试文件)。加快突变测试的一种方法是,一旦遇到单一故障(但仅在突变测试期间),就停止对给定突变体的测试运行。更好的做法是让变异测试者记住杀死最后一个变异体的第一个测试是什么,并将其首先交给下一个变异体。ruby中是否有任何东西可以做这些事情,或者我最好的选择是开始猴子修补?(是的,我知道单元测试应该很快。显示所有失败的测试在突变测试之外很有用,因为它不仅可以帮助您识别出问题,还可以查明哪里出了问题)编辑:我目前正在对测试/单元使用heckle。如果测试/单元不可能记住

  10. ruby - 使用和不使用 Rails 的快速 (Rspec) 测试 - 2

    我有两个类:1.Sale是ActiveRecord的子类;它的工作是将销售数据持久保存到数据库中。classSale2.SalesReport是一个标准的Ruby类;它的工作是生成和绘制有关销售的信息。classSalesReportdefinitialize(start_date,end_date)@start_date=start_date@end_date=end_dateenddefsales_in_durationSale.total_for_duration(@start_date,@end_date)end#...end因为我想使用TDD并且我希望我的测试运行得非常快,所

随机推荐