Android技术分享| 实现视频连麦直播

anyRTC 2023-03-28 原文

视频连麦产品端核心步骤分析

游客申请连麦/取消申请
主播同意/拒绝申请
音视频发布取消
支持很多观众观看
支持多人连麦
低延时
IM 弹幕

视频连麦技术端调研

emmm，大致可以分为视频采集、编码，传输，解码，渲染%¥#@¥%…………%……¥……%¥%……¥%%……%#¥%#%¥&%&……%……&%……¥？卒

所以经过调研，发现市场上已经有很多成熟的商业解决方案，并且成本很低就可以接入使用。

对比了很久，最后采用 anyRTC 公司的两个 SDK 来完成视频连麦中的音视频通许和信令传输。

信令交互

首先利用 RTM SDK，主播和游客端都分别加入同一个频道，这样就能实现频道内的成员心令交互。实现申请连麦/取消申请连麦的话，只需要和主播端约定好信令格式即可，代码如下。

游客

//申请连麦
fun applyLine() {
        RtmManager.instance.sendPeerMessage(hostId,
            "{\"cmd\": \"apply\", \"avatar\": \"$userAvatar\", \"userName\": \"$userNickname\"}"
        )
    }
    
//取消申请连麦
fun cancelApply() {
        RtmManager.instance.sendPeerMessage( hostId,"{\"cmd\": \"cancelApply\"}"
        )
    }

//收到信令回调通知
override fun onP2PMessageReceived(var1: RtmMessage?, var2: String?) {
            val params = JSONObject(var1.text)
            when (params.get("cmd")) {
                "acceptLine" -> {
                    //主播同意
                }
                "rejectLine" -> {
                   //主播拒绝
                }
            }
        }

主播

//拒绝游客连麦
fun rejectLine(uid: String) {
        RtmManager.instance.sendPeerMessage(uid, "{\"cmd\": \"rejectLine\"}"
        )
    }

//同意主播连麦
fun acceptLine(uid: String) {
        RtmManager.instance.sendPeerMessage(uid, "{\"cmd\": \"acceptLine\"}"
        )
    }
    
override fun onP2PMessageReceived(var1: RtmMessage?, var2: String?) {
            val params = JSONObject(var1.text)
            when (params.get("cmd")) {
                "apply" -> {
                   //收到游客申请连麦
                }
                "cancelApply" -> {
                   //游客取消申请连麦
                }
            }
          
        }

以上，就完成了最简单的信令交互，实际业务场景中，会有更多更复杂的，只需商定好，通过 RTM 发送交互就行。

音视频推流

游客只观看主播的时候，是不需要发布音视频的，所以在加入房间后，将自己的身份设置为游客(CLIENT_ROLE_AUDIENCE)即可。申请连麦并且主播同意后，再将身份设置为(CLIENT_ROLE_BROADCASTER)就会自动发布音视频。这样就能与直播互动了。

anyRTC 音视频 SDK 有2种直播模式，分别如下：

1.RTC

RTC（Real Time Communication）实时音视频通信，最大的特点就是延迟极低，基本都是基于 WebRTC 标准，使用私有协议进行推流的。

主播

进入视频页面，打开自己的视频并加入房间。

//初始化 SDK 引擎
RtcManager.instance.initRtc(ctx)
//打开视频模块
RtcManager.instance.enableVideo()
//打开本地摄像头设置视图显示
RtcManager.instance.setupLocalVideo(VideoCanvas(textureView))
//加入房间
RtcManager.instance.joinChannel(rtcToken, roomId, userId, isHost)

加入房间成功之后，如果有人申请连麦并上麦后，会收到 onUserJoin 回调，只需要在合适的回调中显示移除上麦人的视图即可。

//在这显示上麦的人的视频
override fun onUserJoined(uid: String?, elapsed: Int) {
          // add remote user
}

//移除他人视频
override fun onUserOffline(uid: String?, reason: Int) {
     //remove remote user
 }

游客

主播同意上麦申请后，应将自己的身份设置为 CLIENT_ROLE_BROADCASTER,并将自己的视频模块打开并添加到视图中。

//转换身份
RtcManager.instance.setClientRole(Constants.CLIENT_ROLE_BROADCASTER)

//添加自己的视频
val clientTexture = RtcEngine.CreateRendererView(this)
                addVideoView(
                    binding.rlHostView,
                    clientTexture,
                    yourself = true,
                    setupLocalVideo = true
                )
                binding.apply.text = "下麦"

使用 RTC 模式实现非常的简单，只需要关注几个重要的回调即可。

2.RTMP+CDN

RTMP （Real Time Messaging Protocol）是基于 TCP 的流媒体传输协议，最大的特点是与 CDN 的强绑定，需要借助 CDN 的负载均衡系统将内容推送到接近用户的边缘节点，使用户就近取得所需内容，提高用户访问的响应速度和成功率，解决因分布、带宽、服务器性能带来的访问延迟问题。更多适用于站点加速、点播、短视频等场景。

使用该模式比 RTC 模式代码要写的多一点，因为主播短要设置上麦人的视频合流参数，观众需要添加一个 anyRTC 内置的播放器用来拉 rtmp 流。

rtmp会比RTC 延时要高一些，但是连麦不会，因为连麦后还是走的 RTC 模式，因此，连麦的人和主播之间的延时会很小。其他观众拉流的话，并不会察觉到主播和上麦者之间有什么延迟。

主播推流到 CDN

//加入频道成功
override fun joinChannelSuccess() {
  //设置合流参数
  publishPushLiveTranscoding()
  //添加推流地址
  RtcManager.instance.addPublishStreamUrl(cdnUrl, true)
}

private fun publishPushLiveTranscoding(
        transcodingArr: List<LiveTranscoding.TranscodingUser>,
        canvasInfo: CDNStreamLayoutInfo
    ) {
        rtcEngine?.setLiveTranscoding(LiveTranscoding().apply {
            width = canvasInfo.width
            height = canvasInfo.height
        }.apply { transcodingArr.forEach { addUser(it) } })
    }
 
//游客上麦
override fun onUserJoin(uid: String) {
  //更新合流布局
  updatePushLiveTranscoding()
}  

//游客下麦
override fun onUserOffline(uid: String) {
  //更新合流布局
  updatePushLiveTranscoding()
}

这里需要注意的是合流布局参数的设置，具体可以查看文末 github仓库代码。

游客拉流播放

//创建播放器并播放主播的流
 RtcManager.instance.initMediaPlayer().apply {
            open(cdnUrl, 0)
            setView(textureView)
            play()
        }

游客上下麦还是和上麦的流程一致，变的只是界面上的效果。具体可以参考Demo

效果图展示

Demo 代码地址

有关Android技术分享| 实现视频连麦直播的更多相关文章

ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2
我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden
华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2
?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------
基于C#实现简易绘图工具【100010177】 - 2
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
MIMO-OFDM无线通信技术及MATLAB实现（1）无线信道：传播和衰落 - 2
MIMO技术的优缺点优点通过下面三个增益来总体概括：阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下，MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中，可以获得复用增益，即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中，可以获得分集增益，即可靠性性能的改善。分集增益用独立衰落支路数来描述，即分集指数。在使用了空时编码的MIMO系统中，由于接收天线或发射天线之间的间距较远，可认为它们各自的大尺度衰落是相互独立的，因此分布式MIMO
动漫制作技巧如何制作动漫视频 - 2
动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、
python ffmpeg 使用 pyav 转换一组图像到视频 - 2
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
TimeSformer：抛弃CNN的Transformer视频理解框架 - 2
Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
【Java入门】使用Java实现文件夹的遍历 - 2
遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg
安卓apk修改(Android反编译apk) - 2
最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路