目录
本章内容解读MetaRTC开源代码,无任何二次开发,用于学习交流。
MetaRTC是国人开发的开源项目,适用各种场景音视频二次开发,可以去git阅读README,我们使用相对成熟的版本测试:
Release v5.0-b4。
本章解读dtls交互流程,dtls抓包分析,dlts概念介绍。
DTLS
(Datagram Transport Layer Security)即数据包传输层安全性协议。传输层的TCP、UDP协议本身都不具备安全性。SSL/TLS协议是基于TCPsocket,在传输层和应用层之间构建了一个端到端的安全通道,保证了传输数据的加密性。但是SSL/TLS协议并不能用于UDP协议,而UDP也有安全传输的需求,于是产生了DTLS协议(DatagramTLS)。即DTLS的作用为给UDP提供端到端的安全通道,就像SSL/TLS对TCP的作用一样。并且DTLS尽可能参考了SSL/TLS协议的安全机制,在具体实现上复用了70%的TLS代码。DTLS的传输阶段分为两个:握手阶段和握手建立之后的传输应用数据阶段。
通过引入 DTLS 对 RTP 进行加密,使得媒体通信变得安全。通过 DTLS 协商出加密密钥之后,RTP 也需要升级为 SRTP,通过密钥加密后进行通信。
dtls握手过程

使用wireshark抓包工具,筛选关键字dtls,主叫点击推拉流按钮,音视频通话接通,之后关闭挂断通话,抓包截图如下,使用了非对称加密,和上面的流程图基本对的上。
在turn模式是通过coturn服务器中继的,抓不到dtls包,stun模式可以抓包。

本端主叫是主动推拉流的,dtls交互过程中主叫是client(192.168.3.46),被叫是server(192.168.3.42)。
1-7条是明文通信:
1、 Client Hello
截图第一条消息,客户端首先向服务端发起握手。信息包括dtls版本号,加密方式,压缩方式,随机数A,Session ID等。
2、Server Hello
截图第二条消息,服务端响应一个 Server Hello 消息,携带协商出来的 TLS/SSL 版本号、加密套件和数据压缩算法,Session ID。
3、Certificate
截图第二条消息, 携带服务端数字证书(CA)以验证服务端身份,携带了服务端非对称加密所使用的公钥。
4、Server Key Exchange
截图第二条消息,携带额外信息来帮助客户端生成 pre-master key。
5、Certificate Request
截图第二条消息,在安全性要求高的场景,例如银行支付等,不仅需要验证服务端的身份,还需要验证客户端的身份,这时候服务端就会要求客户端提供客户端的身份证书。
6、Server Hello Done
截图第二条消息,Server Hello 结束。
7、Certificate
截图第三条消息,如果服务端要求客户端提供数字证书以验证身份,则客户端发送自己的身份证书给服务端。
8-11条是非对称加密通信过程:
由于非对称加密通信的性能较差,在实际的通信过程中其实使用的是对称加密通信,为了避免对称加密密钥被窃取,密钥在协商过程中使用非对称加密来进行加密。
8、Client Key Exchange
截图第三条消息,客户端在验证服务端的身份证书后,会取出其中的服务端公钥,产生一个随机数 C,作为 pre-master key;
在本地使用之前的随机数 A、B 和这次生成的 C 共同生成对称加密密钥 master-key;
使用服务端公钥对 pre-master key 加密后发送给服务端。
9、Certificate Verify
截图第三条消息,如果服务端要求客户端提供客户端证书,则客户端会发送 Certificate Verify,其中的内容是客户端使用自己的私钥加密的一段数据,提供给服务端用客户端的公钥来进行解密验证。之所以需要这一步是为了确保客户端发送的证书确实是它自己的证书。
10、Change Cipher Spec
截图第三条消息,提示服务端随后使用 master key 来进行对称加密通信。
11、Change Cipher Spec
截图第四条消息,提示客户端随后使用 master key 来进行对称加密通信。
12、Application Data
截图6-14条消息,加密后的应用数据。
12、Encrypted Alert
截图最后一条,当挂断电话时,客户端会向服务端发送一条Encrypted Alert,表示结束会话。
主叫dtls大致流程:YangP2pHandleImpl::connectRtc,YangP2pRtc::connectPeer,g_yang_pc_startRtc(setRemoteDescription),yang_rtcconn_startRtc,yang_create_rtcudp。
在turn场景下,获取turn allocate ip成功后,被叫先接收到非StunMagicCookie ((uint32_t)0x2112A442),触发yang_doHandshake,开始dtls交互,主叫之后接收到消息非StunMagicCookie触发yang_doHandshake。
dtls交互使用的udp和音视频数据收发使用的udp是同一个udp,当sdp交互完成后创建udp,udp通信建立成功后,主叫收到被叫的udp消息,主叫触发dtls流程,先发送Client Hello给被叫。

被叫也是在相同的位置回复Server Hello,其实上述流程1-11条都是由这里触发发送的,dtls握手完成后打印,之后就可以通过udp收发音视频数据,开始音视频通话。
dtls handshake is sucess
每隔一段时间触发一次。

挂断程序退出,执行析构时触发,如果是SRS组建的视频会议,也是通过这一条消息通知SRS结束推流的。

我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当
这可能是个愚蠢的问题。但是,我是一个新手......你怎么能在交互式rubyshell中有多行代码?好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗?再次抱歉,如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f
我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI
这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub
我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList()Obt
在前面两节的例子中,主界面窗口的尺寸和标签控件显示的矩形区域等,都是用C++代码编写的。窗口和控件的尺寸都是预估的,控件如果多起来,那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观,因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner(Qt设计师)。通过QtDesigner就可以很方便地创建图形界面文件*.ui,然后将ui文件应用到源代码里面,做到“所见即所得”,大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用,学习拖拽控件和设置控件属性,并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q
@作者:SYFStrive @博客首页:HomePage📜:微信小程序📌:个人社区(欢迎大佬们加入)👉:社区链接🔗📌:觉得文章不错可以点点关注👉:专栏连接🔗💃:感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序(🔥)目录自定义组件-behaviors 1、什么是behaviors 2、behaviors的工作方式 3、创建behavior 4、导入并使用behavior 5、behavior中所有可用的节点 6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors 1、什么是behaviorsbehaviors是小程序中,用于实现