草庐IT

Android平台音视频RTMP推送|GB28181对接之动态水印设计

音视频牛哥 2023-03-28 原文

技术背景

随着移动单兵、智能车载、智慧安防、智能家居、工业仿真、GB28281技术对接等行业的发展，现场已经不再限于采集到视频数据编码打包发送或对接到流媒体服务端，大多场景对视频水印的要求越来越高，从之前的固定位置静态文字水印、png水印等慢慢过渡到动态水印需求。

本文以Android平台采集摄像头数据为例，通过类似于PhotoShop图层的形式，添加不同图层，编码实现动态水印的效果。

废话不多说，先上个效果图，Android采集端获取到摄像头数据后，分别展示了实时时间水印、文字水印、png水印、文字水印二，所有水印均支持动态设置，可满足传统行业如实时时间戳叠加、动态经纬度设定、png logo等场景的水印设定需求。

技术实现

  1. 摄像头数据采集，不再赘述，获取到前后摄像头的数据数据后（具体参见onPreviewFrame()处理），通过PostLayerImageNV21ByteArray()把数据投递到jni层。
int w = videoWidth, h = videoHeight;
int y_stride = videoWidth, uv_stride = videoWidth;
int y_offset = 0, uv_offset = videoWidth * videoHeight;
int is_vertical_flip = 0, is_horizontal_flip = 0;
int rotation_degree = 0;

// 镜像只用在前置摄像头场景下
if (is_mirror && FRONT == currentCameraType) {
// 竖屏, (垂直翻转->顺时旋转270度)等价于(顺时旋转旋转270度->水平翻转)
if (PORTRAIT == currentOrigentation)
is_vertical_flip = 1;
else
is_horizontal_flip = 1;
}

if (PORTRAIT == currentOrigentation) {
if (BACK == currentCameraType)
rotation_degree = 90;
else
rotation_degree = 270;
} else if (LANDSCAPE_LEFT_HOME_KEY == currentOrigentation) {
rotation_degree = 180;
}

int scale_w = 0, scale_h = 0, scale_filter_mode = 0;

// 缩放测试++
/*
if (w >= 1280 && h >= 720) {
scale_w = align((int)(w * 0.8 + 0.5), 2);
scale_h = align((int)(h * 0.8 + 0.5), 2);
} else {
scale_w = align((int)(w * 1.5 + 0.5), 2);
scale_h = align((int)(h * 1.5 + 0.5), 2);
}

if(scale_w >0 && scale_h >0) {
scale_filter_mode = 3;
Log.i(TAG, "onPreviewFrame w:" + w + ", h:" + h + " s_w:" + scale_w + ", s_h:" + scale_h);
}
*/
// 缩放测试---

libPublisher.PostLayerImageNV21ByteArray(publisherHandle, 0, 0, 0,
data, y_offset, y_stride, data, uv_offset, uv_stride, w, h,
is_vertical_flip, is_horizontal_flip, scale_w, scale_h, scale_filter_mode, rotation_degree);
大家可能好奇PostLayerImageNV21ByteBuffer()和PostLayerImageNV21ByteArray()设计，接口参数很强大，和我们之前针对camera2的接口一样，几乎是万能接口，拿到的原始数据，不仅可以做水平、垂直翻转，还可以缩放处理。

/**
* 投递层NV21图像
*
* @param index: 层索引, 必须大于等于0
*
* @param left: 层叠加的左上角坐标, 对于第0层的话传0
*
* @param top: 层叠加的左上角坐标, 对于第0层的话传0
*
* @param y_plane: y平面图像数据
*
* @param y_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
*
* @param y_row_stride: stride information
*
* @param uv_plane: uv平面图像数据
*
* @param uv_offset: 图像偏移, 这个主要目的是用来做clip的,一般传0
*
* @param uv_row_stride: stride information
*
* @param width: width, 必须大于1, 且必须是偶数
*
* @param height: height, 必须大于1, 且必须是偶数
*
* @param is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
*
* @param is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
*
* @param scale_width: 缩放宽，必须是偶数, 0或负数不缩放
*
* @param scale_height: 缩放高, 必须是偶数, 0或负数不缩放
*
* @param scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
*
* @param rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
*
* @return {0} if successful
*/
public native int PostLayerImageNV21ByteBuffer(long handle, int index, int left, int top,
ByteBuffer y_plane, int y_offset, int y_row_stride,
ByteBuffer uv_plane, int uv_offset, int uv_row_stride,
int width, int height, int is_vertical_flip, int is_horizontal_flip,
int scale_width, int scale_height, int scale_filter_mode,
int rotation_degree);


/**
* 投递层NV21图像, 详细说明请参考PostLayerImageNV21ByteBuffer
*
* @return {0} if successful
*/
public native int PostLayerImageNV21ByteArray(long handle, int index, int left, int top,
byte[] y_plane, int y_offset, int y_row_stride,
byte[] uv_plane, int uv_offset, int uv_row_stride,
int width, int height, int is_vertical_flip, int is_horizontal_flip,
int scale_width, int scale_height, int scale_filter_mode,
int rotation_degree);
  1. 动态时间水印
动态时间水印其实就是文字水印的扩展，通过生成TextBitmap，然后从bitmap里面拷贝获取到text_timestamp_buffer_，通过我们设计的PostLayerImageRGBA8888ByteBuffer()投递到jni层。

private int postTimestampLayer(int index, int left, int top) {

Bitmap text_bitmap = makeTextBitmap(makeTimestampString(), getFontSize(),
Color.argb(255, 0, 0, 0), true, Color.argb(255, 255, 255, 255),true);

if (null == text_bitmap)
return 0;

if ( text_timestamp_buffer_ != null) {
text_timestamp_buffer_.rewind();

if ( text_timestamp_buffer_.remaining() < text_bitmap.getByteCount())
text_timestamp_buffer_ = null;
}

if (null == text_timestamp_buffer_ )
text_timestamp_buffer_ = ByteBuffer.allocateDirect(text_bitmap.getByteCount());

text_bitmap.copyPixelsToBuffer(text_timestamp_buffer_);

int scale_w = 0, scale_h = 0, scale_filter_mode = 0;
//scale_w = align((int)(bitmapWidth*1.5 + 0.5), 2);
//scale_h = align((int)(bitmapHeight*1.5 + 0.5),2);
//scale_filter_mode = 3;

/*
if ( scale_w > 0 && scale_h > 0)
Log.i(TAG, "postTextLayer scale_w:" + scale_w + ", scale_h:" + scale_h + " w:" + bitmapWidth + ", h:" + bitmapHeight) ;
*/

libPublisher.PostLayerImageRGBA8888ByteBuffer(handle_, index, left, top, text_timestamp_buffer_, 0,
text_bitmap.getRowBytes(), text_bitmap.getWidth(), text_bitmap.getHeight(),
0, 0, scale_w, scale_h, scale_filter_mode,0);

int ret = scale_h > 0? scale_h : text_bitmap.getHeight();

text_bitmap.recycle();

return ret;
}
  1. 文字水印
文字水印不再赘述，主要注意的是文字的大小、颜色、位置。

private int postText1Layer(int index, int left, int top) {
Bitmap text_bitmap = makeTextBitmap("文本水印一", getFontSize()+8,
Color.argb(255, 200, 250, 0),
false, 0,false);

if (null == text_bitmap)
return 0;

ByteBuffer buffer = ByteBuffer.allocateDirect(text_bitmap.getByteCount());
text_bitmap.copyPixelsToBuffer(buffer);

libPublisher.PostLayerImageRGBA8888ByteBuffer(handle_, index, left, top, buffer, 0,
text_bitmap.getRowBytes(), text_bitmap.getWidth(), text_bitmap.getHeight(),
0, 0, 0, 0, 0,0);

int ret = text_bitmap.getHeight();

text_bitmap.recycle();

return ret;
}
  1. png水印
png水印，除了常规的位置需要注意之外，还涉及到logo水印的大小问题，为此，我们添加了缩放效果，可以缩放后，再贴到图层，确保以更合适的比例展示在图层期望位置。

private int postPictureLayer(int index, int left, int top) {
Bitmap bitmap = getAssetsBitmap();
if (null == bitmap) {
Log.e(TAG, "postPitcureLayer getAssetsBitmap is null");
return 0;
}

if (bitmap.getConfig() != Bitmap.Config.ARGB_8888) {
Log.e(TAG, "postPitcureLayer config is not ARGB_8888, config:" + Bitmap.Config.ARGB_8888);
return 0;
}

ByteBuffer buffer = ByteBuffer.allocateDirect(bitmap.getByteCount());
bitmap.copyPixelsToBuffer(buffer);

final int w = bitmap.getWidth();
final int h = bitmap.getHeight();
if ( w < 2 || h < 2 )
return 0;

int scale_w = 0, scale_h = 0, scale_filter_mode = 0;

final float r_w = width_ - left; // 有可能负数
final float r_h = height_ - top; // 有可能负数

if (w > r_w || h > r_h) {
float s_w = w;
float s_h = h;

// 0.85的10次方是0.19687, 缩放到0.2倍差不多了
for ( int i = 0; i < 10; ++i) {
s_w *= 0.85f;
s_h *= 0.85f;

if (s_w < r_w && s_h < r_h )
break;
}

if (s_w > r_w || s_h > r_h)
return 0;

// 如果小于16就算了，太小看也看不见
if (s_w < 16.0f || s_h < 16.0f)
return 0;

scale_w = align((int)(s_w + 0.5f), 2);
scale_h = align( (int)(s_h + 0.5f), 2);
scale_filter_mode = 3;
}

/*
if ( scale_w > 0 && scale_h > 0)
Log.i(TAG, "postTextLayer scale_w:" + scale_w + ", scale_h:" + scale_h + " w:" + w + ", h:" + h) ; */

libPublisher.PostLayerImageRGBA8888ByteBuffer(handle_, index, left, top, buffer, 0, bitmap.getRowBytes(), w, h,
0, 0, scale_w, scale_h, scale_filter_mode,0);

int ret = scale_h > 0 ? scale_h : bitmap.getHeight();

bitmap.recycle();

return ret;
}
以上几种水印，最终投递接口设计如下，接口不再赘述，几乎你期望的针对图像的处理，都已覆盖：

/**
* 投递层RGBA8888图像,如果不需要Aplpha通道的话, 请使用RGBX8888接口, 效率高
*
* @param index: 层索引, 必须大于等于0, 注意:如果index是0的话，将忽略Alpha通道
*
* @param left: 层叠加的左上角坐标, 对于第0层的话传0
*
* @param top: 层叠加的左上角坐标, 对于第0层的话传0
*
* @param rgba_plane: rgba 图像数据
*
* @param offset: 图像偏移, 这个主要目的是用来做clip的, 一般传0
*
* @param row_stride: stride information
*
* @param width: width, 必须大于1, 如果是奇数, 将减1
*
* @param height: height, 必须大于1, 如果是奇数, 将减1
*
* @param is_vertical_flip: 是否垂直翻转, 0不翻转, 1翻转
*
* @param is_horizontal_flip：是否水平翻转, 0不翻转, 1翻转
*
* @param scale_width: 缩放宽，必须是偶数, 0或负数不缩放
*
* @param scale_height: 缩放高, 必须是偶数, 0或负数不缩放
*
* @param scale_filter_mode: 缩放质量, 传0使用默认速度,可选等级范围是:[1,3],值越大缩放质量越好, 但速度越慢
*
* @param rotation_degree: 顺时针旋转, 必须是0, 90, 180, 270, 注意:旋转是在缩放, 垂直/水品反转之后再做, 请留意顺序
*
* @return {0} if successful
*/
public native int PostLayerImageRGBA8888ByteBuffer(long handle, int index, int left, int top,
ByteBuffer rgba_plane, int offset, int row_stride, int width, int height,
int is_vertical_flip, int is_horizontal_flip,
int scale_width, int scale_height, int scale_filter_mode,
int rotation_degree);
以上水印的显示控制，我们通过LayerPostThread封装处理：

/*
* LayerPostThread实现动态水印封装
* Author: https://daniusdk.com
*/
class LayerPostThread extends Thread
{
private final int update_interval = 400; // 400 毫秒
private volatile boolean is_exit_ = false;
private long handle_ = 0;
private int width_ = 0;
private int height_ = 0;
private volatile boolean is_text_ = false;
private volatile boolean is_picture_ = false;
private volatile boolean clear_flag_ = false;

private final int timestamp_index_ = 1;
private final int text1_index_ = 2;
private final int text2_index_ = 3;
private final int picture_index_ = 4;
private final int rectangle_index_ = 5;

ByteBuffer text_timestamp_buffer_ = null;
ByteBuffer rectangle_buffer_ = null;

@Override
public void run() {
text_timestamp_buffer_ = null;
rectangle_buffer_ = null;

if (0 == handle_)
return;

boolean is_posted_pitcure = false;
boolean is_posted_text1 = false;
boolean is_posted_text2 = false;

int rectangle_aplha = 0;

while(!is_exit_) {
long t = SystemClock.elapsedRealtime();

if (clear_flag_) {
clear_flag_ = false;
is_posted_pitcure = false;
is_posted_text1 = false;
is_posted_text2 = false;

if (!is_text_ || !is_picture_) {
rectangle_aplha = 0;
libPublisher.RemoveLayer(handle_, rectangle_index_);
}
}

int cur_h = 8;
int ret = 0;

if (!is_exit_ && is_text_) {
ret = postTimestampLayer(timestamp_index_, 0, cur_h);
if ( ret > 0 )
cur_h = align(cur_h + ret + 2, 2);
}

if(!is_exit_&& is_text_&&!is_posted_text1) {
cur_h += 6;
ret = postText1Layer(text1_index_, 0, cur_h);
if ( ret > 0 ) {
is_posted_text1 = true;
cur_h = align(cur_h + ret + 2, 2);
}
}

if (!is_exit_ && is_picture_ && !is_posted_pitcure) {
ret = postPictureLayer(picture_index_, 0, cur_h);
if ( ret > 0 ) {
is_posted_pitcure = true;
cur_h = align(cur_h + ret + 2, 2);
}
}

if(!is_exit_&& is_text_&&!is_posted_text2) {
postText2Layer(text2_index_);
is_posted_text2 = true;
}

// 这个是演示一个矩形, 不需要可以屏蔽掉
if (!is_exit_ && is_text_ && is_picture_) {
postRGBRectangle(rectangle_index_, rectangle_aplha);
rectangle_aplha += 8;
if (rectangle_aplha > 255)
rectangle_aplha = 0;
}

waitSleep((int)(SystemClock.elapsedRealtime() - t));
}

text_timestamp_buffer_ = null;
rectangle_buffer_ = null;
}
我们把水印分两类：一类系文字、一类png logo水印，可以通过控制显示还是隐藏：

public void enableText(boolean is_text) {
is_text_ = is_text;
clear_flag_ = true;
if (handle_ != 0) {
libPublisher.EnableLayer(handle_, timestamp_index_, is_text_?1:0);
libPublisher.EnableLayer(handle_, text1_index_, is_text_?1:0);
libPublisher.EnableLayer(handle_, text2_index_, is_text_?1:0);
}
}

public void enablePicture(boolean is_picture) {
is_picture_ = is_picture;
clear_flag_ = true;
if (handle_ != 0) {
libPublisher.EnableLayer(handle_, picture_index_, is_picture_?1:0);
}
}
如需移除图层，也可以调用RemoveLayer()接口，具体设计如下：

/**
* 启用或者停用视频层, 这个接口必须在StartXXX之后调用.
*
* @param index: 层索引, 必须大于0, 注意第0层不能停用
*
* @param is_enable: 是否启用, 0停用, 1启用
*
* @return {0} if successful
*/
public native int EnableLayer(long handle, int index, int is_enable);


/**
* 移除视频层, 这个接口必须在StartXXX之后调用.
*
* @param index: 层索引, 必须大于0, 注意第0层不能移除
*
* @return {0} if successful
*/
public native int RemoveLayer(long handle, int index);
针对启动水印类型等外层封装：

private LayerPostThread layer_post_thread_ = null;

private void startLayerPostThread() {
if (3 == video_opt_) {
if (null == layer_post_thread_) {
layer_post_thread_ = new LayerPostThread();
layer_post_thread_.startPost(publisherHandle, videoWidth, videoHeight, currentOrigentation, isHasTextWatermark(), isHasPictureWatermark());
}
}
}

private void stopLayerPostThread() {
if (layer_post_thread_ != null) {
layer_post_thread_.stopPost();
layer_post_thread_ = null;
}
}

总结

随着传统行业对视频数据实时水印要求越来越高，动态水印设计是大势所趋，水印设计有多种实现模式，比如早期我们针对静态水印的处理，直接通过jni封装层实现，如果想更灵活的通过图层化设计实现动态水印，本文提供的思路，开发者可酌情参考。

音视水印paddingspanpadding-boxandroid动态水印androidrtmp水印rtmp水印gb28181水印androidrtmp推流Android移动开发yyds干货盘点

有关Android平台音视频RTMP推送|GB28181对接之动态水印设计的更多相关文章

  1. 动漫制作技巧如何制作动漫视频 - 2

    动漫制作技巧是很多新人想了解的问题，今天小编就来解答与大家分享一下动漫制作流程，为了帮助有兴趣的同学理解，大多数人会选择动漫培训机构，那么今天小编就带大家来看看动漫制作要掌握哪些技巧？一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性，以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料，可以是手绘也可以是3d软件创建。在此步骤中，要注意的问题是色彩和平面布局。三、动漫制作制作完成后，加工成型。完成不同的表现形式后，就要对设计稿进行加工处理，使加工的难易度降低，并得到一些基本准确的概念，以便于后续的大样、准确的尺寸制定。四、

  2. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  3. TimeSformer：抛弃CNN的Transformer视频理解框架 - 2

    Transformers开始在视频识别领域的“猪突猛进”，各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解，本篇主要介绍了FBAI团队的TimeSformer，这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用，就请点赞、收藏、关注！paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图

  4. 安卓apk修改(Android反编译apk) - 2

    最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路

  5. ruby-on-rails - 如何将大于 5GB 的文件上传到 Amazon S3？ - 2

    我目前正在使用带有Carrierwavegem的Rails3.2将文件上传到AmazonS3。现在我需要能够处理用户提交的大于5GB的文件，同时仍然使用Carrierwavegem。Carrierwave或Fog是否有任何其他gem或分支可以处理5GB以上的文件上传到S3？编辑:我不想重写一个完整的Rails上传解决方案，所以像这样的链接没有帮助:https://gist.github.com/908875. 最佳答案 我想出了如何做到这一点，并且现在可以正常工作了。在正确的config/environment文件中，添加以下内容以

  6. ruby - 如何更改此正则表达式以从未指定 v 参数的 Youtube URL 获取 Youtube 视频 ID？ - 2

    目前我正在使用这个正则表达式从YoutubeURL中提取视频ID:url.match(/v=([^&]*)/)[1]我怎样才能改变它，以便它也可以从这个没有v参数的YoutubeURL获取视频ID:http://www.youtube.com/user/SHAYTARDS#p/u/9/Xc81AajGUMU感谢阅读。编辑:我正在使用ruby​​1.8.7 最佳答案 对于Ruby1.8.7，这就可以了。url_1='http://www.youtube.com/watch?v=8WVTOUh53QY&feature=feedf'url

  7. NFT交易平台开发 创建NFT数字藏品平台 - 2

    为什么需要NFT市场？NFTMarketplace允许用户购买、出售、交易、查看或创建自己的NFT，就像他们需要一个市场来购买物理或数字世界中的大多数产品一样。几乎每个人都可以进入NFT市场，但要做到这一点，用户必须满足以下要求：一个NFT市场用户账户，允许您在给定平台上购买NFT。你需要一个与区块链兼容的加密钱包来购买NFT。NFTMarketplace非常重要，因为它连接了买卖双方，并为用户提供了多种工具来快速创建自己的NFT。艺术家可以在市场上列出要出售的NFT，买家可以通过投标过程探索市场并购买物品。NFT市场开发过程解释创建NFT市场是一个耗时的过程，需要编程知识和理解。那么搭建NF

  8. Ruby跨平台EOF符号的写法 - 2

    在Ruby中是否有一种平台无关的方式将EOF符号写入字符串。在*nix中，我认为符号是^D，但在Windows中是^Z，这就是我问的原因。 最佳答案 EOF不是一个字符，它是一个状态。终端使用控制字符来表示此状态(C-d)。没有这样的事情是“读一个EOF字符”，写一个也是一样的。如果您正在写入文件，请在完成后将其关闭。看这个mailinglistpost:ItsoundslikeyouarethinkingofEOFasanin-bandbutspecialcharactervaluethatmarkstheendoffile.It

  9. 续集来了丨UI自动化测试（二）：带视频，实在RPA高效进行web项目UI自动化测试 - 2

    一、什么是web项目ui自动化测试？通过测试工具模拟人为操控浏览器，使软件按照测试人员的预定计划自动执行测试的一种方式，可以完成许多手工测试无法完成或者不易实现的繁琐工作。正确使用自动化测试，可以更全面的对软件进行测试，从而提高软件质量进而缩短迭代周期。二、构建测试用例的“九部曲”（一）创建流程包划分功能模块日常测试活动中，都会根据功能模块进行拆分，所以在设计器中我们可以通过创建流程包的方式来拆分需要测试的功能模块，如下图中操作创建一个电脑流程包并且取名为对应的功能模块名称，如果有多个功能模块就创建多个对应的流程包，实在RPA设计器有易用的图形可视化界面，方便管理较多的功能模块。（二）在流程包

  10. Java调用ffmpeg处理视频，并记录下遇到的坑 - 2

    目录需求基于JavaCV跨平台执行ffmpeg命令[^1]坑一内存不足坑二多个ffmpeg进程并行导致IO负载大，进而导致ioerror?坑三使用Java操作ffmpeg时，有时会卡死坑四Process的waitFor死锁问题及解决办法需求给透明背景的视频自动叠加一张背景图片基于JavaCV跨平台执行ffmpeg命令1我测试发现的本需求的最小依赖：dependency>groupId>org.bytedecogroupId>artifactId>ffmpeg-platform-gplartifactId>version>5.0-1.5.7version>dependency>核心代码：Stri

随机推荐