草庐IT

linux - 电视 (TV) 视频实时像素级分析的建议

coder 2023-06-19 原文

[注意:这是对 earlier question 的重写这被认为是不合适的和封闭的。]

我需要对电视 (TV) 视频进行一些像素级分析。这种分析的确切性质并不相关，但它基本上涉及查看电视视频每一帧的每个像素，从 MPEG-2 传输流开始。主机平台将是服务器级、多处理器 64 位 Linux 机器。

我需要一个可以处理传输流解码并实时向我显示图像数据的库。 OpenCV 和 ffmpeg 是我正在考虑用于这项工作的两个库。 OpenCV 很有吸引力，因为我听说它具有易于使用的 API 和丰富的图像分析支持，但我没有使用它的经验。以前用过ffmpeg从文件中提取视频帧数据进行分析，但它缺乏图像分析支持(虽然Intel的IPP可以补充)。

除了解决此问题的一般建议(不包括实际图像分析)，我还有一些更具体的问题可以帮助我开始:

  1. 业界是否普遍使用 ffmpeg 或 OpenCV 作为实时计算的基础？ 视频分析，还是我应该看的其他东西？
  2. OpenCV可以实时解码视频帧，还留足够 剩余 CPU 用于执行重要的图像分析，也是实时的？
  3. 足以使用 ffpmeg 进行 MPEG-2 传输流解码，或者 直接使用 MPEG-2 解码库是否更可取(如果是，是哪个)？
  4. ffmpeg 的输出帧是否有特定的像素格式？ 或者 OpenCV 在生成(如 RGB、YUV 或 YUV422 等)方面特别有效？

最佳答案

1.
我肯定会推荐 OpenCV 进行“实时”图像分析。我假设实时是指跟上电视帧速率的能力(例如，NTSC(29.97 fps)或 PAL(25 fps))。当然，如评论中所述，这当然取决于您可用的硬件以及图像大小 SD (480p) 与 HD(720p 或 1080p)。 FFmpeg 当然有它的怪癖，但你很难找到更好的免费替代品。它的力量和灵 active 令人印象深刻；我敢肯定，这是 OpenCV 开发人员决定将其用作 OpenCV 视频解码/编码后端的原因之一。

2.
在使用 OpenCV 进行解码时，我没有看到高延迟问题。您的系统可以有多少延迟？如果您需要提高性能，请考虑使用单独的线程进行捕获/解码和图像分析。由于您提到了拥有多处理器系统，这应该可以更好地利用您的处理能力。我肯定会推荐使用最新的 Intel Core-i7(或可能是 Xeon 等效)架构，因为这将为您提供当今可用的最佳性能。

我已经在几个嵌入式系统上使用过 OpenCV，所以我非常了解您对最佳性能的渴望。我多次发现没有必要处理全帧图像(尤其是在尝试确定 mask 时)。如果您在处理获取的视频流时遇到困难，我强烈建议对图像进行下采样。这有时可以立即为您提供 4-8 倍的加速(取决于您的下采样因子)。同样在性能方面，我肯定会推荐使用英特尔的 IPP .由于 OpenCV 最初是一个 Intel 项目，IPP 和 OpenCV 很好地融合在一起。

最后，由于图像处理是那些“令人尴尬的并行”问题领域之一，请不要忘记在需要时使用 GPU 作为解决问题的硬件加速器的可能性。 OpenCV 最近在这个领域做了很多工作，因此如果需要，您应该可以使用这些工具。

3.
我认为 FFmpeg 是一个很好的起点；我能想到的大多数替代方案(Handbrake、mencoder 等)都倾向于使用 ffmpeg 作为后端，但看起来您可能可以使用 IPP 的 Video Coding 来实现自己的目标。图书馆，如果你愿意的话。

4.
OpenCV 的颜色内部表示是 BGR，除非你使用类似 cvtColor 的东西转换它。如果您想查看 FFmpeg 支持的像素格式列表，您可以运行 

ffmpeg -pix_fmts

看看它能输入和输出什么。

关于linux - 电视 (TV) 视频实时像素级分析的建议，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8393207/

linuxTVOpenCVstrongsectionvideoffmpegsignal-processing

有关linux - 电视 (TV) 视频实时像素级分析的建议的更多相关文章

  1. ruby-on-rails - 如何在 Rails Controller Action 上触发 Facebook 像素 - 2

    我有一个ruby​​onrails应用程序。我按照facebook的说明添加了一个像素。但是，要跟踪转化，Facebook要求您将页面置于达到预期结果时出现的转化中。即，如果我想显示客户已注册，我会将您注册后转到的页面作为成功对象进行跟踪。我的问题是，当客户注册时，在我的应用程序中没有登陆页面。该应用程序将用户带回主页。它在主页上显示了一条消息，所以我想看看是否有一种方法可以跟踪来自Controller操作而不是实际页面的转化。我需要计数的Action没有页面，它们是ControllerAction。是否有任何人都知道的关于如何执行此操作的gem、文档或最佳实践？这是进入布局文件的像素

  2. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、

  3. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  4. TimeSformer：抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  5. HBase Region 简介和建议数量&大小 - 2

    Region是HBase数据管理的基本单位,region有一点像关系型数据的分区。region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。Region的结构hbaseregion的大小设置默认情况下，每个Table起初只有一个Region，随着数据的不断写入，Region会自动进行拆分。刚拆分时，两个子Region都位于当前的RegionServer，但处于负载均衡的考虑，HMaster有可能会将某个Region转移给其他的RegionServer。RegionSplit时机：当1个region中的某个Store下所有StoreFile

  6. ruby-on-rails - 我需要从 HTML 转到 markdown，有什么建议吗？ - 2

    我正在使用Maruku，将Markdown(超集)转换为HTML，你知道我该怎么做才能从HTML转换为Markdown吗？ 最佳答案 Google发现了一个名为reverse_markdown的ruby​​脚本.它似乎可以满足您的需求。 关于ruby-on-rails-我需要从HTML转到markdown，有什么建议吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/175162

  7. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID？ - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它，以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7，这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  8. (附源码)vue3.0＋.NET6实现聊天室(实时聊天SignalR) - 2

    参考文章搭建文章gitte源码在线体验可以注册两个号来测试演示图：一.整体介绍　　介绍SignalR一种通讯模型Hub(中心模型，或者叫集线器模型)，调用这个模型写好的方法，去发送消息。　　内容有：　　　　①：Hub模型的方法介绍　　　　②：服务器端代码介绍　　　　③：前端vue3安装并调用后端方法　　　　④：聊天室样例整体流程：1、进入网站->调用连接SignalR的方法2、与好友发送消息->调用SignalR的自定义方法 前端通过，signalR内置方法.invoke()  去请求接口3、监听接受方法（渲染消息）通过new signalR.HubConnectionBuilder().on

  9. 【Linux操作系统】——网络配置与SSH远程 - 2

    Linux操作系统——网络配置与SSH远程安装完VMware与系统后，需要进行网络配置。第一个目标为进行SSH连接，可以从本机到VMware进行文件传送，首先需要进行网络配置。1.下载远程软件首先需要先下载安装一款远程软件：FinalShell或者xhell7FinalShellxhell7FinalShell下载：Windows下载http://www.hostbuf.com/downloads/finalshell_install.exemacOS下载http://www.hostbuf.com/downloads/finalshell_install.pkg2.配置CentOS网络安装好

  10. Linux磁盘分区中物理卷（PV）、卷组（VG）、逻辑卷（LV）创建和（LVM）管理 - 2

    文章目录一基础定义二创建逻辑卷2-1准备物理设备2-2创建物理卷2-3创建卷组2-4创建逻辑卷2-5创建文件系统并挂载文件三扩展卷组和缩减卷组3-1准备物理设备3-2创建物理卷3-3扩展卷组3-4查看卷组的详细信息以验证3-5缩减卷组四扩展逻辑卷4-1检查卷组是否有可用的空间4-2扩展逻辑卷4-3扩展文件系统五删除逻辑卷5-1备份数据5-2卸载文件系统5-3删除逻辑卷5-4删除卷组5-5删除物理卷六LVM逻辑卷缩容6-1缩容注意事项6-2标准缩容步骤一基础定义LVM，LogicalVolumeManger，逻辑卷管理，Linux磁盘分区管理的一种机制，建立在硬盘和分区上的一个逻辑层，提高磁盘分

随机推荐