草庐IT

STM32MP157-视频监控项目-FFmpeg-Nginx-RTMP-流媒体视频

WayneSup 2023-10-01 原文

韦东山老师的视频监控项目视频链接如下:

流媒体方案的实现之Nginx_哔哩哔哩_bilibili

在教学视频中由于韦东山老师使用的是IMX6ULL开发板做的示例,我自己用的是STM32MP157Pro开发板,在学习过程中发现有一些地方不能直接照搬,否则开发板无法正常实现推流。所以打算把自己遇到的一些问题和解决方法记下来,方便大家参考!

一、FFmpeg介绍:

FFmpeg是一套开源软件 可以记录、转换音视频:可以从摄像头中记录视频,从声卡中记录音频,可以转换为各种格式,保存起来 还可以把各种格式的音视频,转换为流:供在线观看 其他功能:视频截图、加水印、裁剪等等 Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音等视频频播放器的内核就是 FFmpeg 格式工厂的内核也是FFmpeg.

二、Nginx介绍

Nginx是一套开源软件,纯C语言编写,效率高 HTTP和反向代理web服务器,同时也是一个 IMAP、POP3、SMTP 代理服务器 稳定、高效,支持高并发 即使强如阿里巴巴,也是使用Nginx,它就是在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。 我们只关注:Nginx可以作为流体服务器,支持RTMP、HTTPFLV、HLS等协议

视频流在流媒体中编解码和推拉流情况:

推流端 FFmpeg

  • 使用RTMP协议向Nginx推流
  • 拉流端 VLC播放器使用RTMP或HTTPFLV协议从Nginx拉流,浏览器使用HTTPFLV协议从Nginx拉流(安装flv.js)

二、移植FFmpeg和Nginx

1.下载源码,手动编译,再移植到开发板

2.使用官方提供的BUildroot,在配置中选择ffmpeg和Nginx,编译生成镜像文件。(简单易行)

这一步正常跟着视频教程走就行。

进入Nginx按照视频里面的把选项都选上。

三、修改配置文件/etc/nginx/nginx.conf

 

代码如下:

rtmp {
        server {
                listen 1935; #listen on standard RTMP port
                chunk_size 4096;

                application live {
                        allow publish 127.0.0.1;
                        allow play all;
                        live on;    #Enable listening for live streampplication
                        record off; #Do not record the stream
                        meta copy;  #Copy the incoming metadata for the outgoing metadata
                }
        }
}

location /test {
        flv_live on;
}

 这两段代码不要粘贴错,不然会执行命令的时候会报错:RTMP_ReadPacket, failed to read RTMP packet header,rtmp://127.0.0.1/live/wei: Unknown error occurred

四、重启Nginx服务:

        /etc/init.d/S50nginx restart

但是STM32MP157板子烧入系统后,没有这个文件。(重启开发板服务就会重启,如果你需要这么一个初始化文件的话自己也可以建立一个)

 

 

vim S50nginx
#粘贴下面的代码到S50nginx
#!/bin/bash
#chkconfig:35 85 15

DAEMON=/usr/sbin/nginx
PID=/var/run/nginx.pid

case "$1" in
  start)
      echo "Starting nginx daemon..."
      $DAEMON && echo "SUCCESS"  #开启nginx
  ;;
  stop)
      echo "Stopping nginx daemon..."
      $DAEMON -s quit && echo "SUCCESS"  #从容的停止nginx
  ;;
  reload)
      echo "Reloading nginx daemon..."
      $DAEMON -s reload && echo "SUCCESS"  #平滑重启nginx
  ;;
  restart)
      echo "Restarting nginx daemon..."
      if [ ! -f "$PID" ]; then
           ps -ef | grep nginx | awk 'NR<3{print "kill -9 "$2}' | sh
           sleep 3
           $DAEMON && echo "SUCCESS"                  #开启nginx
      else
           $DAEMON -s quit                            #从容的停止nginx
           sleep 3
           $DAEMON && echo "SUCCESS"                  #开启nginx
      fi
  ;;
  status)
      if [ ! -f "$PID" ]; then                  #▒.▒为nginx启动后会生成▒.程文件nginx.pid,这里通过判断▒.程
         echo "Nginx is not running..."
      else
         echo "Nginx is running..."
      fi
  ;;
  *)
      echo "Usage:service nginx (start|stop|restart|reload|status)"
      exit 2
  ;;
esac

给S50nginx赋予执行权限

chmod a+x S50nginx

问题解决,重启服务成功!

五、测试Nginx:

在浏览器中输入板子的IP

开发板上已经正在运行Nginx服务器了,测试成功!

六、MP4录制测试

  • 推流
  • 在开发板上执行:
  • ffmpeg -f v4l2 -framerate 10 -i /dev/video1 -q 10  my.mp4

报错:

[video4linux2,v4l2 @ 0x72d30] ioctl(VIDIOC_G_INPUT): Inappropriate ioctl for device
/dev/video1: Inappropriate ioctl for device,

 将命令中的video1改成video0,该问题解决。

ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 10  my.mp4

但是执行上述命令会报错:内存不足,ffmpeg进程被杀死

[   49.199168] Out of memory: Killed process 786 (ffmpeg) total-vm:476024kB, anon-rss:142808kB, file-rss:129672kB, shmem-rss:0kB, UID:0 pgtables:372kB oom_score_adj:0
[   49.294156] oom_reaper: reaped process 786 (ffmpeg), now anon-rss:0kB, file-rss:129664kB, shmem-rss:0kB
Killed

最开始以为自己电脑用的USB摄像头性能太好,板子的性能不够所以带不动,修改-framerate和-q的数值也不管用,于是我淘宝买了个200W像素的USB迷你摄像头,执行上面的命令结构一样显示内存不足,进程被killed。

自己瞎找了一段时间的资料,也去官方的社区去提问了,但是发现没人鸟我,找客服效率也低。然后想着是不是摄像头的分辨率太高了,自己查了一下使用ffmpeg 设置分辨率,发现果然是分辨率的问题,默认是1920*1080,我将它改成320*240测试了一下,执行命令发现不再报错(stm32mp157上不会像视频里面那样不停地在中断打印信息,ctl+c结束ffmpeg程序),生成的文件也可以在Ubuntu上正常播放,录制MP4问题解决!~

ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 1 -s 320x240  my.mp4 -y

七、推流测试:

ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 10  -f flv rtmp://127.0.0.1/live/wei

按照教程给的命令去测试发现,帧率会特别低,而且实时性特别差,虽然我设置的fps=10,但是实行运行时的帧率只有2.1,这就会导致传输到终端的视频特别卡顿。

 尝试将帧率调低,效果会有所改善,但是最多就5帧。

ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 5 -vf scale=160:90 -f flv rtmp://127.0.0.1/live/wei

fps=5的视频效果体验非常差,想着自己将帧率设置到最低了为什么ffmpeg推流最多只有5帧,又查了一堆资料然后读了一下打印信息发现问题所在:

[video4linux2,v4l2 @ 0x72c90] The driver changed the time per frame from 1/10 to 1/5
Input #0, video4linux2,v4l2, from '/dev/video0':
  Duration: N/A, start: 1401.760782, bitrate: 165888 kb/s
    Stream #0:0: Video: rawvideo (YUY2 / 0x32595559), yuyv422, 1920x1080, 165888 kb/s, 5 fps, 5 tbr, 1000k tbn, 1000k tbc

Stream mapping:
  Stream #0:0 -> #0:0 (rawvideo (native) -> flv1 (flv))
Press [q] to stop, [?] for help
Output #0, flv, to 'rtmp://127.0.0.1/live/wei':
  Metadata:
    encoder         : Lavf58.29.100
    Stream #0:0: Video: flv1 (flv) ([2][0][0][0] / 0x0002), yuv420p, 160x90, q=2-31, 200 kb/s, 5 fps, 1k tbn, 5 tbc

 

相当于我上面的命令只改了输出流的分辨率,帧数和画面质量。得想办法让摄像头驱动采集的数据也是低分辨率,推送的视频流帧数上不去。又是一通资料查询,使用下面的命令解决了USB摄像头跑在开发板上帧数不高的问题。

ffmpeg -f v4l2  -r 25 -s 320x240 -i /dev/video0  -s 320x240 -r 25 -f flv rtmp://127.0.0.1/live/wei

在-i 前设置分辨率和帧数就是相当于设置的输入端

八、视频播放

我使用的是plotplay来播放视频,你也可以使用教程里面的VLC。

分辨率设成640x480板子的视频推流的帧率可以接近24帧,差不多是这个板子的极限分辨率了,尝试将分辨率调到更低,帧数可以高到30帧,这样视频看上去会更加流畅。

在STM3MP157上跑这个视频监控项目也花了我不少时间,如果你也有类似的需求,希望这篇博客能帮助你少走弯路。

跑这个视频监控是为后续在板子上做MPTCP视频流测试用的,后面我也会将测试结果和情况整理发出来,供大家参考。

如果这篇Blog有帮到你,请点个赞再走,Respect 所有帮到过我的博客作者!

 

 

有关STM32MP157-视频监控项目-FFmpeg-Nginx-RTMP-流媒体视频的更多相关文章

  1. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  2. 怎样用一台手机做自媒体? - 2

    其实做自媒体的成本并不高,入门只需要一部手机即可!在手机上找视频素材、使用手机剪辑视频、最后使用手机发布视频作品获得收益!方法并不难,今天这期内容就来给粉丝们分享一种小方法,每天稳定收益100-300,抓紧点赞收藏!1、找素材(1)使用手机拍摄自己喜欢的经典段落,使用程序把文案内容提取出来(2)也可以在豆瓣、知乎、微博等网站中找一些自己需要的文案素材(3)把文案进行润色修改,可以加入一些自己的观点(4)视频素材可以使用软件中自带的素材,也可以在素材网站中下载完整版的素材2、文案配音(1)把复制好的文案直接导入小程序中(2)调整音色、音调后一键合成音频即可(3)可以选择自己朗读配音,需要花一点时

  3. STM32读取串口传感器数据(颗粒物传感器,主动上传) - 2

    文章目录1.开发板选择*用到的资源2.串口通信(个人理解)3.代码分析(注释比较详细)1.主函数2.串口1配置3.串口2配置以及中断函数4.注意问题5.源码链接1.开发板选择我用的是STM32F103RCT6的板子,不过代码大概在F103系列的板子上都可以运行,我试过在野火103的霸道板上也可以,主要看一下串口对应的引脚一不一样就行了,不一样的就更改一下。*用到的资源keil5软件这里用到了两个串口资源,采集数据一个,串口通信一个,板子对应引脚如下:串口1,TX:PA9,RX:PA10串口2,TX:PA2,RX:PA32.串口通信(个人理解)我就从串口采集传感器数据这个过程说一下我自己的理解,

  4. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题,今天小编就来解答与大家分享一下动漫制作流程,为了帮助有兴趣的同学理解,大多数人会选择动漫培训机构,那么今天小编就带大家来看看动漫制作要掌握哪些技巧?一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性,以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料,可以是手绘也可以是3d软件创建。在此步骤中,要注意的问题是色彩和平面布局。三、动漫制作制作完成后,加工成型。完成不同的表现形式后,就要对设计稿进行加工处理,使加工的难易度降低,并得到一些基本准确的概念,以便于后续的大样、准确的尺寸制定。四、

  5. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  6. TimeSformer:抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”,各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解,本篇主要介绍了FBAI团队的TimeSformer,这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用,就请点赞、收藏、关注!paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  7. ruby - 无法在 Ruby 中将 ffmpeg 作为子进程运行 - 2

    我正在尝试使用以下代码通过将ffmpeg实用程序作为子进程运行并获取其输出并解析它来确定视频分辨率:IO.popen'ffmpeg-i'+path_to_filedo|ffmpegIO|#myparsegoeshereend...但是ffmpeg输出仍然连接到标准输出并且ffmepgIO.readlines是空的。ffmpeg实用程序是否需要一些特殊处理?或者还有其他方法可以获得ffmpeg输出吗?我在WinXP和FedoraLinux下测试了这段代码-结果是一样的。 最佳答案 要跟进mouviciel的评论,您需要使用类似pope

  8. ruby-on-rails - 如何用不同的用户运行nginx主进程 - 2

    A/ctohttp://wiki.nginx.org/CoreModule#usermaster进程曾经以root用户运行,是否可以以不同的用户运行nginxmaster进程? 最佳答案 只需以非root身份运行init脚本(即/etc/init.d/nginxstart),就可以用不同的用户运行nginxmaster进程。如果这真的是你想要做的,你将需要确保日志和pid目录(通常是/var/log/nginx&/var/run/nginx.pid)对该用户是可写的,并且您所有的listen调用都是针对大于1024的端口(因为绑定(

  9. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID? - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它,以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7,这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  10. STM32的HAL和LL库区别和性能对比 - 2

    LL库和HAL库简介LL:Low-Layer,底层库HAL:HardwareAbstractionLayer,硬件抽象层库LL库和hal库对比,很精简,这实际上是一个精简的库。LL库的配置选择如下:在STM32CUBEMX中,点击菜单的“ProjectManager”–>“AdvancedSettings”,在下面的界面中选择“AdvancedSettings”,然后在每个模块后面选择使用的库总结:1、如果使用的MCU是小容量的,那么STM32CubeLL将是最佳选择;2、如果结合可移植性和优化,使用STM32CubeHAL并使用特定的优化实现替换一些调用,可保持最大的可移植性。另外HAL和L

随机推荐