我正在编写一个应用程序，它可以通过摄像头输入对视频进行编码，并通过解码-编辑-编码步骤处理视频。对于相机，我使用 Camera 类而不是 Intent 来配置相机的详细设置。然后我将相机帧提供给编码器(API 16 中的 MediaCodec)和混合器(我使用 ffmpeg 混合器，因为我想在 4.1 设备上工作)。
我用系统纳秒时间测量相机帧的时间码，并选择一个帧子集来满足所需的 FPS(目前为 15)。时间值中有一些小的“噪音”，例如(以毫秒为单位):0、60718、135246、201049，...而不是 0、66000、133000、200000，...。
在尝试正确配置多路复用器后(如 this question)，我可以制作一个视频(使用 AVC 编解码器)，可以由设备上的视频播放器播放。播放速度是正确的，所以我认为视频应该具有正确的帧时间信息。
但是，当我尝试解码视频以执行视频编辑过程时遇到问题。我使用标准视频提取/解码步骤作为 these samples ，像这样:
int decode_input_index = decoder.dequeueInputBuffer(TIMEOUT_USEC);
if (decode_input_index >= 0)
{
ByteBuffer decoder_input_buffer = decode_input_buffers[decode_input_index];
int sample_size = extractor.readSampleData(decoder_input_buffer, 0);
if (sample_size < 0)
{
decoder.queueInputBuffer(decode_input_index, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
is_decode_input_done = true;
}
else
{
long sample_time = extractor.getSampleTime();
decoder.queueInputBuffer(decode_input_index, 0, sample_size, sample_time, 0);
extractor.advance();
}
}
else
{
Log.v(TAG, "Decoder dequeueInputBuffer timed out! Try again later");
}
在我对视频进行编码时，getSampleTime() 的采样时间具有正确的值。 (例如，在我们中它们正好是 0、60718、135246、201049，...)。它也是 decoder.queueInputBuffer() 输入中的呈现时间。当解码器继续解码此帧时，我通过以下方式获得帧时间:
int decode_output_index = decoder.dequeueOutputBuffer(decode_buffer_info, TIMEOUT_USEC);
switch (decode_output_index)
{
....
(some negative-value flags in MediaCodec)
....
default:
{
ByteBuffer decode_output_buffer = decode_output_buffers[decode_output_index];
long ptime_us = decode_buffer_info.presentationTimeUs;
boolean is_decode_EOS = ((decode_buffer_info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0);
....
}
}
我希望设置与解码器输入相同的时间序列，但我从解码器输出的 BufferInfo 中得到很多 0。解码后的帧内容似乎是正确的，但大部分呈现时间值都是0。只有最后几帧的呈现时间是正确的。
我在装有 Android 4.3 的设备上测试了整个相同的过程(即使使用相同的 ffmpeg muxer 而不是 API 18 中的 MediaMuxer)，一切看起来都很好。在4.1/4.2设备上，如果我通过设备内置的相机APP拍摄视频，然后解码视频，那么呈现时间也是正确的，虽然时间值也有相机延迟引起的噪音。
视频或解码过程有什么问题，视频可以正常播放和解码，但采样时间正确但呈现时间不正确？我可能不得不使用一种变通方法来按采样时间来衡量演示时间(使用队列很容易)，但我想弄清楚我的工作中是否有遗漏的部分。
最佳答案
在 Android 4.3 之前，无法保证 MediaCodec 正确处理呈现时间戳。这是因为直到那时才添加确认 PTS 行为的 CTS 测试。
我确实记得某些供应商的 AVC 编解码器中的时间戳处理存在问题。我不记得细节了，但如果你从 EncodeDecodeTest 运行缓冲区到缓冲区和缓冲区到表面测试在各种 4.1/4.2 设备上，您会发现一些故障。 (当然，您需要去除表面对表面测试。)
您的时间戳处理代码看起来不错。时间戳不是 H.264 流的一部分，因此它实际上只是作为元数据通过编解码器转发，您似乎正在将其提取并转发到所有正确的位置。底线是，如果您传递有效的 PTS 值并获得良好的视频但垃圾 PTS 值，则编解码器中的某些东西处理不当。
您需要通过单独传递值来解决它，或者——如果输入帧速率始终是常规的——简单地计算它。从理论上讲，编码器可以对帧重新排序，因此您将时间戳传递给编码器的顺序可能与它们出现的顺序不同......但是既然你知道制作电影时时间戳是递增的，你应该如果这在实践中是个问题，就可以对它们进行排序。
另一方面，如果您在帧到达应用程序时获取 System.nanoTime()，系统延迟将导致您在时间戳值中看到的“摆动”。在 Android 4.3 中，您可以使用 Surface 输入做得更好，因为 SurfaceTexture 包含一个时间戳，该时间戳设置得更接近捕获帧的时间。 (我知道这对你目前的努力没有用，但想给 future 一些希望。)
关于android - 视频解码期间采样时间/呈现时间不一致，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22368611/
我需要检查DateTime是否采用有效的ISO8601格式。喜欢:#iso8601?我检查了ruby是否有特定方法，但没有找到。目前我正在使用date.iso8601==date来检查这个。有什么好的方法吗？编辑解释我的环境，并改变问题的范围。因此，我的项目将使用jsapiFullCalendar，这就是我需要iso8601字符串格式的原因。我想知道更好或正确的方法是什么，以正确的格式将日期保存在数据库中，或者让ActiveRecord完成它们的工作并在我需要时间信息时对其进行操作。 最佳答案 我不太明白你的问题。我假设您想检查
这个问题在这里已经有了答案:Railsformattingdate(4个答案)关闭4年前。我想格式化Time.Now函数以显示YYYY-MM-DDHH:MM:SS而不是:“2018-03-0909:47:19+0000”该函数需要放在时间中.现在功能。require‘roo’require‘roo-xls’require‘byebug’file_name=ARGV.first||“Template.xlsx”excel_file=Roo::Spreadsheet.open(“./#{file_name}“,extension::xlsx)xml=Nokogiri::XML::Build
我正在尝试解析一个CSV文件并使用SQL命令自动为其创建一个表。CSV中的第一行给出了列标题。但我需要推断每个列的类型。Ruby中是否有任何函数可以找到每个字段中内容的类型。例如，CSV行:"12012","Test","1233.22","12:21:22","10/10/2009"应该产生像这样的类型['integer','string','float','time','date']谢谢! 最佳答案 require'time'defto_something(str)if(num=Integer(str)rescueFloat(s
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路
我正在尝试查询我的Rails数据库(Postgres)中的购买表，我想查询时间范围。例如，我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列，但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时
两个gsub产生不同的结果。谁能解释一下为什么？代码也可在https://gist.github.com/franklsf95/6c0f8938f28706b5644d获得.ver=9999str="\tCFBundleDevelopmentRegion\n\ten\n\tCFBundleVersion\n\t0.1.190\n\tAppID\n\t000000000000000"putsstr.gsub/(CFBundleVersion\n\t.*\.).*()/,"#{$1}#{ver}#{$2}"puts'--------'putsstr.gsub/(CFBundleVersio
我是HanamiWorld的新人。我已经写了这段代码:moduleWeb::Views::HomeclassIndexincludeWeb::ViewincludeHanami::Helpers::HtmlHelperdeftitlehtml.headerdoh1'Testsearchengine',id:'title'hrdiv(id:'test')dolink_to('Home',"/",class:'mnu_orizontal')link_to('About',"/",class:'mnu_orizontal')endendendendend我在模板上调用了title方法。htm