草庐IT

WebRTC客户端主要流程分析

caesar1228 2023-12-25 原文

通信过程

因为WebRTC规范里没有包含信令协议，所以像OWT、mediasoup等支持WebRTC的开源项目，其通信两端建立连接的过程中的信令逻辑各不相同。但是，总体上来说，其通信过程必然会包括以下过程。

  1. 发起端创建本地的PeerConnection，并且创建Offer。
  2. 发起端通过信令服务器将Offer发送给应答端。
  3. 应答端创建本地的PeerConnection，把发起端的Offer设置到PeerConnection中，并且获取到Answer。
  4. 应答端通过信令服务器将Answer发送给发起端。
  5. 发起端把应答段的Answer设置到PeerConnection中。
  6. 两端都收集本地PeerConnection的ICE Candidate，通过信令服务器发送给对方，对方收到ICE Candidate后设置给本地的PeerConnection。
  7. 两端成功建立音视频通道，开始收发音视频数据。

这个过程如果是在局域网中，可以通过某种方式与对端直接建立好信令通道，则可以不需要信令服务器，直接建立P2P的音视频通道。

这个过程中有些概念可以了解一下。

  • PeerConnection：WebRTC最初设计师用于浏览器的P2P媒体通信，所以其核心接口类就是PeerConnection，简称PC。
  • Offer、Answer：都属于SDP。SDP是一种描述会话协议，用于描述一次会话的多媒体数据格式等配置信息。通信双方交换SDP就是为了协商一个双方都支持的会话配置。
  • ICE：一种NAT穿透协议，利用STUN、TURN协议完成工作。ICE会在SDP中增加传输地址信息，然后对其进行连通性测试，测试成功后就可以用于传输媒体数据了。
  • ICE Candidate：即ICE的传输地址信息，包括host、srflx、relayed和prflx。

核心流程

WebRTC支持的客户端系统有iOS、Mac、Android、Windows和Linux。各端的代码各不相同，但是，其核心API的调用过程是类似的。所以，只要把握了总体的调用过程就能顺藤摸瓜的去查看各端的详细代码。这里总结下调用的关键步骤：

  • 全局初始化。
  • 创建PeerConnectionFactory。
  • 通过PeerConnectionFactory接口创建PeerConnection。
  • 创建Capturer。
  • 通过PeerConnectionFactory接口创建Source、Track。
  • 通过PeerConnection接口创建Transceiver。
  • 创建Offer、Answer，设置给PeerConnection，并相互交换。
  • 相互交换ICE Candidate，通过ICE Candidate回调接受对端ICE Candidate，设置给PeerConnection。
  • P2P连接的状态可以通过监听PeerConnection的状态回调函数（Windows端是OnIceConnectionChange）。

其中，几个重要的WebRTC中的概念可以了解一下：

  • Capturer：视频数据采集，包括相机、屏幕、视频文件等。
  • Source：数据源，数据来自Capturer或其他，然后将数据传给Track。
  • Track：媒体数据交换的载体。
  • Sink：Track数据的消费者，本地预览和渲染远端视频都是Sink。
  • Transceiver：负责收发媒体数据。

以视频数据收发为例，发送端的Capturer采集到视频数据，交给Source，再由Source交给本地的Track，然后本地Track中数据分为2路，一路给本地Sink做预览，一路由Transceiver发送给接收端。接收端的Track收到数据后交给接收端的Sink进行渲染。

WebRTC客户端xff0cxffxff0音视频前端

有关WebRTC客户端主要流程分析的更多相关文章

  1. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  2. ruby - 在 TCPServer (Ruby) 中，我如何从客户端获取 IP/MAC？ - 2

    我想在Ruby的TCPServer中获取客户端的IP地址。以及(如果可能的话)MAC地址。例如，Ruby中的时间服务器，请参阅评论。tcpserver=TCPServer.new("",80)iftcpserverputs"Listening"loopdosocket=tcpserver.acceptifsocketThread.newdoputs"Connectedfrom"+#HERE!HowcanigettheIPAddressfromtheclient?socket.write(Time.now.to_s)socket.closeendendendend非常感谢!

  3. 建模分析 | 平面2R机器人(二连杆)运动学与动力学建模(附Matlab仿真) - 2

    目录0专栏介绍1平面2R机器人概述2运动学建模2.1正运动学模型2.2逆运动学模型2.3机器人运动学仿真3动力学建模3.1计算动能3.2势能计算与动力学方程3.3动力学仿真0专栏介绍?附C++/Python/Matlab全套代码?课程设计、毕业设计、创新竞赛必备！详细介绍全局规划(图搜索、采样法、智能算法等)；局部规划(DWA、APF等)；曲线优化(贝塞尔曲线、B样条曲线等)。?详情：图解自动驾驶中的运动规划(MotionPlanning)，附几十种规划算法1平面2R机器人概述如图1所示为本文的研究本体——平面2R机器人。对参数进行如下定义：机器人广义坐标

  4. 网站日志分析软件--让网站日志分析工作变得更简单 - 2

    网站的日志分析，是seo优化不可忽视的一门功课，但网站越大，每天产生的日志就越大，大站一天都可以产生几个G的网站日志，如果光靠肉眼去分析，那可能看到猴年马月都看不完，因此借助网站日志分析工具去分析网站日志，那将会使网站日志分析工作变得更简单。下面推荐两款网站日志分析软件。第一款：逆火网站日志分析器逆火网站日志分析器是一款功能全面的网站服务器日志分析软件。通过分析网站的日志文件，不仅能够精准的知道网站的访问量、网站的访问来源，网站的广告点击，访客的地区统计，搜索引擎关键字查询等，还能够一次性分析多个网站的日志文件，让你轻松管理网站。逆火网站日志分析器下载地址：https://pan.baidu.

  5. ABB-IRB-1200运动学分析MATLAB RVC工具分析+Simulink-Adams联合仿真 - 2

    一、机器人介绍        此处是基于MATLABRVC工具箱，对ABB-IRB-1200型号的微型机械臂进行正逆向运动学分析，并利Simulink工具实现对机械臂进行具有动力学参数的末端轨迹规划仿真，最后根据机械模型设计Simulink-Adams联合仿真。 图1.ABBIRB 1200尺寸参数示意图ABBIRB 1200提供的两种型号广泛适用于各作业，且两者间零部件通用，两种型号的工作范围分别为700 mm 和 900 mm，大有效负载分别为 7 kg 和5 kg。 IRB 1200 能够在狭小空间内能发挥其工作范围与性能优势，具有全新的设计、小型化的体积、高效的性能、易于集成、便捷的接

  6. 关于Qt程序打包后运行库依赖的常见问题分析及解决方法 - 2

    目录一.大致如下常见问题：（1）找不到程序所依赖的Qt库version`Qt_5'notfound(requiredby（2）CouldnotLoadtheQtplatformplugin"xcb"in""eventhoughitwasfound（3）打包到在不同的linux系统下，或者打包到高版本的相同系统下，运行程序时，直接提示段错误即segmentationfault，或者Illegalinstruction(coredumped)非法指令（4）ldd应用程序或者库，查看运行所依赖的库时，直接报段错误二.问题逐个分析，得出解决方法：（1）找不到程序所依赖的Qt库version`Qt_5'

  7. java - java和ruby的主要区别和相似之处是什么？ - 2

    关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭9年前。Improvethisquestion我现在是java专业人士，我喜欢使用ruby​​。这两种语言有什么相似之处吗？主要区别是什么？因为两者都是面向对象的。

  8. ruby-on-rails - 如何使用 ruby​​-prof 和 JMeter 分析 Rails - 2

    我想使用ruby​​-prof和JMeter分析Rails应用程序。我对分析特定Controller/操作/或模型方法的建议方法不感兴趣，我想分析完整堆栈，从上到下。所以我运行这样的东西:RAILS_ENV=productionruby-prof-fprof.outscript/server>/dev/null然后我在上面运行我的JMeter测试计划。然而，问题是使用CTRL+C或SIGKILL中断它也会在ruby​​-prof可以写入任何输出之前杀死它。如何在不中断ruby​​-prof的情况下停止mongrel服务器？ 最佳答案

  9. ruby-on-rails - 为什么我必须在使用客户验证器后重新加载 rspec 中的记录？ - 2

    我有一个模型User，它在创建后的回调中创建了选项#Userhas_one:user_optionsafter_create:create_optionsprivatedefcreate_optionsUserOptions.create(user:self)end我对此有一些简单的Rspec覆盖:describe"newuser"doit"createsuser_optionsaftertheuseriscreated"douser=create(:user)user.user_options.shouldbe_kind_of(UserOptions)endend一切正常，直到我将自

  10. ruby-on-rails - 没有找到主要的连接池 - 2

    我正在使用Rails并且非常随机地遇到连接池错误，它不专门针对任何单个端点。我可以在大约70%的时间内命中端点而不会出现此错误。数据库是在谷歌云上运行的PostgreSQL。这是我遇到的错误的主要内容:#/usr/local/bundle/gems/activerecord-5.1.5/lib/active_record/connection_handling.rb:112:in`connection_pool'ActiveRecord::ConnectionNotEstablished(Noconnectionpoolwith'primary'found.):gem文件:source

随机推荐