草庐IT

视频谈话记录和直播系统的实现(一)原型设计和测试

旭腾恒力 2023-06-08 原文

本文涉及到的主要技术框架、开源软件有:.netcore blazor srs ffmpeg nginx javascript efcore

文章目录

背景

  某监管场所,监管人员和被监管对象之间,经常要进行谈话,需要保存谈话记录,以便查阅、分析和取证。
  该场所以前用过类似的系统,但存在一些问题,比如在目前操作系统和硬件平台国产化的大趋势下,之前用的系统是基于windows的单机版,维护极为不便,已经没有办法继续使用。

需求要点

实现目标

  • 一对一视频谈话时,能够录音录像,根据某些条件给用户相应的提示
  • 谈话记录可回放,可补充复核意见
  • 谈话对象的基本资料需要事先从其他系统中导入,并且定期更新
  • 自由分配权限,同时严格区分各账户的数据操作范围
  • 能够按照账户统计谈话次数、时长,为工作考核提供准确数据

部署要求

  由于该单位没有专门的IT运维岗位和人员,因此尽可能实现上传到服务器后,双击即可运行。

其它要求

  • 在国产系统和windows系统上都要使用,并且界面、操作方式要保持一致

关注点

  应该说这个项目并没有什么特别之处,无非就是录音录像、回放查询、实时直播、支持国产平台即可。不过在实现过程中,还是有一些坑要填的。

录音录像的同时,实现直播

  依照以往的经验和模式,客户端录制、推流,后台上传即可。不过现在采用B/S模式,最大的问题就是通过浏览器调用摄像头、麦克风完成推流,服务器负责保存录像,隐隐约约觉得可能会存在一些小问题,留在原型测试时验证可行性。

合适的系统架构

  根据上述要求,比较理想的方式自然是B/S模式,而该单位恰巧有比较完善的内部网络,采用此模式再合适不过。调研过程中,发现用户使用的电脑有windows7/10/11系统、银河麒麟系统、深度、中标麒麟四种,当然,合并同类项的话,也就是windows和linux两种类型,而cpu架构有x86/x64/arm64三种,这种情况下,虽然采取C/S模式也能实现目标,但必然给后续开发和维护带来极大的成本,毕竟,客户端跨平台适配并不是件很轻松的事情。

兼容国产系统

  这两年,操作系统和处理器国产化的进度明显加快,特别是在行政事业单位、国有企业,新的采购项目中,基本都要求是国货。软件系统往这个方面靠拢,也是必然的。
  目前国产操作系统都是构建在linux之上,比如银河麒麟是源自Ubuntu,因此将客户端的目标OS设定为Windows和Linux。
  对于服务器端,还需要考虑到CPU架构的问题。windows方面,无疑是x64架构,但是国产CPU有x86、arm、arm64等,例如飞腾2000/4采用的是ARMv8指令集。

趁手的技术框架

  个人认为,主流的技术框架不存在好坏之分,稳定、熟悉、顺手、有长期支持即可,当然,最重要的一点是能够支持多种CPU架构,能够跨平台。在这个项目中,该有的轮子都有了,只要实现中控系统,让它们协调运转起来即可。

方案原型

基本思路

大体流程

  1. 在Blazor Server启动时,同时启动SRS、Nginx;
  2. Nginx代理Blazor Server和SRS端口;
  3. Browser访问Nginx,获取摄像头和麦克风数据,显示在本地,并推流至SRS;
  4. 推流成功后,SRS开始录像,并通知Blazor Server保存谈话记录,记录开始时间、关联谈话对象等;
  5. 结束谈话,更新谈话记录的结束时间、录像时长等。

原型测试

  开发过程中,为了方便测试,SRS、Nginx等使用了windows版本,生产环境中,建议部署在Linux环境。本项目为了实现一键部署,包含了两种环境的版本,由Blazor Server根据OS类型,启动对应的版本。这个阶段只以最低成本测试设计思路的可行性,不考虑细节。

  1. 准备开发环境:主要开发工具VS2022社区版,数据库MySQL社区版、SqlServer2019Express、SRS5.0.19Windows,SRS5.0.63Linux,Nginx1.23.2和ffmpeg5.0的Windows和Linux版本,VLC Player3.0.17.4,WSL Ubuntu22.04LTS。

  2. 在VS2022中,新建Blazor Server项目,F5跑起来,看到下面的界面,说明第一步成功了。关于Blazor的开发,请另行参阅微软文档

  3. 准备目录:把SRS、Nginx的Windows版本和Linux版本放入不同的目录,以便Blazor Server根据OS类型启动,大概就是下图这样。

  4. 编写一个IHostedService服务,并在Program.cs中注入该服务。该服务在Server启动时,负责启动SRS和Nginx,类似于下面的代码(具体实现后文再叙)。

Task.Run(() => {
	ProcessStartInfo info = new ProcessStartInfo();
	info.FileName = @"srs-win\my-srs.exe";
	info.Arguments = @"-c conf\rtc.conf";
	info.WorkingDirectory = AppContext.BaseDirectory + "srs-win";
	info.UseShellExecute = false;
	info.CreateNoWindow = true;
	Process p = new Process();
	p.StartInfo = info;
	p.Start();
});

Task.Run(() =>	{
	ProcessStartInfo info = new ProcessStartInfo();
	info.FileName = @"nginx-win\my-nginx.exe";
	info.WorkingDirectory = AppContext.BaseDirectory + "nginx-win";
	info.UseShellExecute = false;
	info.CreateNoWindow = false;
	Process p = new Process();
	p.StartInfo = info;
	p.Start();
});

正常启动后,telnet测试本地的1935、1985、80、8080、8000端口是否打开。
5. 在Blazor Server项目中,参考SRS的Demo示例,新建一个组件,实现摄像头、麦克风采集和WebRTC推流,类似下图:

  1. 用VLC Player打开rtmp地址,查看推流是否成功。
  2. 新建一个组件,播放上面的流。可用flv.js或者srs sdk的webrtc播放。

测试结果

  至此,设计思路中的技术要点和框架验证成功,实现项目目标所需的轮子都具备了,下一篇开始,尝试具体的实现过程。

原型测试代码下载地址

  已经上传到资源下载。传送门在此。

有关视频谈话记录和直播系统的实现(一)原型设计和测试的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  3. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  4. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  5. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  6. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4,一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时,用户会更新。但是当我添加例如字段:name时,它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗?我也搜索过这个地方,找到了许多不同的解决方案,但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数,您可以在ApplicationController中使用beforefilter,因为Rails4将参数

  7. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  8. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  9. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征,我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现,但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  10. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时,测试会在当前主机停止。即使测试失败,我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

随机推荐