
本文转载自《科技与创新》2022年第01期
作者:李博, 杨欣
单位:中国铁路武汉局集团有限公司麻城车务段
声明:本文仅用于学术分享,不做商业用途,如有侵权,联系即删除
随着铁路信息化建设的不断推进,视频监控设备应用到越来越多岗位中,运用智能化手段管理工作人员必将成为一种趋势,为进一步提高指挥中心对行车岗位作业场景视频盯控和安全监控方面效能,在既有摄像头后端加装AI边缘计算设备,识别固定场景下的作业问题,通过对视频数据的采集、分析、建模,自动识别异常情况并报警、提取关键信息分类汇总,可以有效减少安全监控人员的盯控强度,提高安全管理效率和视频盯控的时效性。
视频监控;深度学习;AI智能识别;自动报警
铁路车务站段既有的监控系统均未设置监控报警功能,缺乏对特定场景违章动作的自动判断,指挥中心专人查看视频监控画面判断现场职工违章违纪情况,不仅费时费力,也不能及时发现问题。为提高监控效率,对特定区域场景进行识别分析,根据设定标准判断职工作业情况,并将不规范行为的场景向指挥中心端发出实时告警信息,并在后台记录存档,重点对行车室睡岗、外勤接车与否、咽喉区闲杂人员闯入等场景进行实时监控,并进行AI智能分析,通过视频图像深度处理,自动识别作业情况,对违章违纪的情况向监控中心进行报警并存档,利用事件触发报警传输的机制,能有效提升网络利用率,提升数据的存储效率,管理人员根据实时报警或存档记录进行确认后进行教育考核。
通过对视频数据的采集、分析、建模,自动识别异常情况、提取关键信息,有效减少管理人员劳动强度,实现实时监控、实时报警、实时处理,提高安全盯控与应急指挥的实时性和时效性,提升网络利用率和数据存储效率。
该系统主要在中国铁路武汉局集团有限公司麻城车务段下属中驿车站的两端咽喉区、行车室、助理接车亭配备固定式摄像头,用于实时监控站区及作业人员(咽喉区非工作人员侵入、外勤助理接车、值班室人员睡岗、离岗)的作业情况并进行研究分析。
铁路车站监控视频智能识别技术的研究应用采用边缘计算路线,将AI计算模组放在摄像头一侧,采用网络、计算、存储、应用核心能力一体化,就近提供最近端服务。其应用程序在边缘侧发起,产生更快的网络服务响应,满足铁路行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
边缘计算具有低时延、高带宽、高可靠、海量连接、异构汇聚和本地安全隐私保护等特点。实现监控视频AI化,主要有两种技术路线。一种是云计算的方式,将视频数据汇总到云端进行分析处理;另一种是
边缘计算(AI计算盒)的方式,在设备端处理好视频,提取有用的数据再上传到云端[1]。
边缘计算和云计算路线对比如下:①边缘计算可以实时或更快地进行数据处理和分析,让数据处理更靠近源,相比外部数据中心或者云,可以缩短延迟时间。②在成本预算上可以大大减轻经费预算。企业在本地设备上的数据管理解决方案所花费的成本大大低于云和数据中心网络。③减少网络流量。随着物联网设备数量的增加,数据生成继续以创纪录的速度增长,结果网络带宽变得更加有限,压倒了云,导致更大的数据瓶颈。④提高应用程序效率。通过降低延迟级别,应用程序可以更高效、快速地运行。⑤个性化。通过边缘计算,可以持续学习,根据个人的需求调整模型,带来个性化互动体验。⑥安全和隐私保护。网络边缘数据涉及个人隐私,传统的云计算模式需要将这些隐私数据上传至云计算中心,这将增加泄露用户隐私数据的风险。在边缘计算中,身份认证协议的研究应借鉴现有方案的优势之处,同时结合边缘计算中分布式、移动性等特点,加强统一认证、跨域认证和切换认证技术的研究,以保障用户在不同信任域和异构网络环境下的数据和隐私安全[2]。
深度学习技术。铁路车站监控视频智能识别系统采用深度学习技术,相对于传统视觉技术而言,能提供更准确的物体识别能力。
边缘计算技术。利用TensorRT,利用层间/张量融合与数据精度校准技术,实现了AI计算盒(边缘设备)上的高效运行。
Websocket技术。应用Websocket技术,实现多路Web端实时视频流直播。免去了安装客户端的烦恼,也免去了不同客户端设备之间不兼容的问题。
可视化技术。应用基于ECharts的图表可视化技术,可以统计查看更加直观的报警记录。
从物理拓扑上看,系统包括数字网络摄像头、AI计算模组、报警管理服务器、交换机、数字录像机、操作终端等组成部分。
从系统架构上看,分为AI边缘层、业务层和系统层三个层次,如图1所示。
AI边缘层。负责对视频数据进行采集和智能分析,并向上提供报警事件。
业务层。负责存储报警记录、进行事件检索、处理报警工作流、提供对外接口等工作。
系统层。负责系统管理、用户管理、终端交互等,提供对服务层的接口。

图1系统架构组成
固定式摄像头算法模块如图2所示。站区(两端岔区视频范围内)如果有非工作人员进入,则定义为人员入侵事件。
算法判断人员进入视频范围,则自动向系统终端报警,提示有闲杂人员进入,同时通过可识别的防护衣和防护帽来区分工作人员和非工作人员,极大减少误报率[3]。

(a)非工作人员入侵报警

(b)工作人员入侵不报警
图2固定式摄像头算法模块
3.2.2立岗接车识别模块
立岗接车识别模块如图3所示。在有车进站的情况下,在接车岗亭未出现接车人员,即定义未立岗接车。
在划定的视频范围内,列车通过画面与视频内是否有人员进行比对。算法可识别行进中的列车以及接车员,可设置要求多长时间提前到岗[4]。

(a)岗亭无人接车报警

(b)岗亭有人接车不报警
图3立岗接车识别模块
睡岗及离岗识别模块如图4所示。在工作期间,工作人员在岗位上静止超过一定时间(系统设定为15min),即为睡岗事件。算法根据划定的睡岗区域,以及设定的报警门限时间,对睡岗行为进行判断,超过门限时间即报警。
在规定时间内,工作人员离开视频监控范围内,视为离岗事件。算法根据划定的离岗区域,以及设定的报警门限时间,对离岗行为进行判断,超过门限时间即报警。

(a)睡岗识别报警

(b)离岗识别模块
图4睡岗及离岗识别模块
首页视频轮播页面如图5所示,采用H5的方式进行视频呈现,当有报警产生时,直接弹出报警信息,出现报警信息页面。

(a)正常轮播画面

(b)报警弹出画面
图5视频轮播页面
报警信息管理页面如图6所示,包含首警图、报警前后30s视频以及实时视频画面,方便用户进行查看。报警信息管理页面主要是将报警记录以倒序的方式列出来,也可以根据发生时间、关键词等进行查询。用户可对报警记录进行签收和处理操作,可填写报警原因及处理意见,并保存到系统中[5]。

(a)报警信息列表

(b)报警信息处理
图6报警信息管理页面
分析统计页面如图7所示。其中,板载信息页面负责统计所有AI盒子的信息,包括CPU占用率、CPU温度、内存使用率、存储使用率、NPU使用率、NPU温度等。报警分类统计页面,负责按类别统计所有的报警信息,为安全指导意见提供数据支撑。

(a)板载信息

(b)报警分类统计
图7分析统计页面
设备管理如图8所示。其中,AI计算盒管理包括编辑AI计算盒的编号、IP、端口号、机构等信息,同时能提供修改和删除等操作。摄像头管理包括摄像头的IP地址配置、报警管理、端口号、编号等信息配置。

(a)AI计算盒列表

(b)AI计算盒编辑

(c)摄像头管理页面

(d)摄像头编辑页面
图8 设备管理页面
固定式监控要达到的指标为:检出率100%,准确率大于90%,综合检出时间小于等于2s。
技术指标分为:①建立样本库。针对每个智能检测目标,要求样本规模大于2000个,正样本比例大于50%,标注信息样本比例大于80%。②视频结构化方法技术指标为一级响应等级。系统报警分为三级,由高到低分别为一级、二级、三级,结构化存储相较于传统存储方式,提高至少50倍存储利用率。③关键视频片段提取。对固定式监控,能自动提取事件发生前后30s的关键视频片段。
将深度学习技术应用于铁路行岗视频监控领域,能够识别咽喉区入侵、外勤点接车规范、离岗睡岗等行为规范。针对咽喉区入侵应用场景,实现了根据工作服判别工作人员的识别效果,极大程度上减少了误报。针对外勤点接车规范,实现了同时检测行进中的列车和工作人员,将出现行进中的列车作为触发事件,同时判断规定时间内是否有工作人员到岗,准确有效。
针对离岗睡岗行为规范,重新训练了深度学习模型,实现了从背后检测人员在岗睡岗情况的算法,相较于普通的需要人员正面图像才能识别的算法而言有较大的提升。针对夜间场景,专门训练了深度学习模型,能准确识别夜间摄像头下的黑白目标。
国铁集团2021年度1号文件中提及发挥站段安全生产指挥中心作用,加强作业环节管控,研究应用音视频、大数据技术、人工智能等技防手段,对现场作业行为进行智能识别、实时预警、精准画像、有效管控。此次车务站段监控视频智能识别技术的研究应用,是严抓现场管控和提高铁路安全管理水平的重要创新举措,是构建车务站段智能指挥中枢重要一环,在研究中探索、在应用中总结,进一步推进铁路安全管理向智能管控方向纵深发展。
[1]薛磊, 曹旌, 褚海波,等. 变电站工作区域智能识别系统研究[J]. 黑龙江电力, 2019, 41(6):2.
[2]赵羽,杨洁,刘淼,等.面向视频监控基于联邦学习的智能边缘计算技术[J].通信学报,2020,41(10):109-115.
[3]李荣增.基于视频识别的铁路入侵检测研究与实现[D].武汉:武汉理工大学,2016.
[4]吕阿斌.视频分析与边缘计算在天车工作面中的应用[J].电子技术,2020,49(12):34-35.
[5]徐祎.铁路行车安全视频预警关键技术研究[D].北京:北京交通大学,2011.
这里是Ruby新手。完成一些练习后碰壁了。练习:计算一系列成绩的字母等级创建一个方法get_grade来接受测试分数数组。数组中的每个分数应介于0和100之间,其中100是最大分数。计算平均分并将字母等级作为字符串返回,即“A”、“B”、“C”、“D”、“E”或“F”。我一直返回错误:avg.rb:1:syntaxerror,unexpectedtLBRACK,expecting')'defget_grade([100,90,80])^avg.rb:1:syntaxerror,unexpected')',expecting$end这是我目前所拥有的。我想坚持使用下面的方法或.join,
导读:随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时OLAP数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应用。作者|叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月,是一家专注美好食物的创业公司。叮咚买菜专注吃的事业,为满足更多人“想吃什么”而努力,通过美好食材的供应、美好滋味的开发以及美食品牌的孵
这篇文章是继上一篇文章“Observability:从零开始创建Java微服务并监控它(一)”的续篇。在上一篇文章中,我们讲述了如何创建一个Javaweb应用,并使用Filebeat来收集应用所生成的日志。在今天的文章中,我来详述如何收集应用的指标,使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值,然后一切都回到一个请求。这也意味着这些指标可能不准确,你还想提取最小/
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
项目介绍随着我国经济迅速发展,人们对手机的需求越来越大,各种手机软件也都在被广泛应用,但是对于手机进行数据信息管理,对于手机的各种软件也是备受用户的喜爱小学生兴趣延时班预约小程序的设计与开发被用户普遍使用,为方便用户能够可以随时进行小学生兴趣延时班预约小程序的设计与开发的数据信息管理,特开发了小程序的设计与开发的管理系统。小学生兴趣延时班预约小程序的设计与开发的开发利用现有的成熟技术参考,以源代码为模板,分析功能调整与小学生兴趣延时班预约小程序的设计与开发的实际需求相结合,讨论了小学生兴趣延时班预约小程序的设计与开发的使用。开发环境开发说明:前端使用微信微信小程序开发工具:后端使用ssm:VU
需求:要创建虚拟机,就需要给他提供一个虚拟的磁盘,我们就在/opt目录下创建一个10G大小的raw格式的虚拟磁盘CentOS-7-x86_64.raw命令格式:qemu-imgcreate-f磁盘格式磁盘名称磁盘大小qemu-imgcreate-f磁盘格式-o?1.创建磁盘qemu-imgcreate-fraw/opt/CentOS-7-x86_64.raw10G执行效果#ls/opt/CentOS-7-x86_64.raw2.安装虚拟机使用virt-install命令,基于我们提供的系统镜像和虚拟磁盘来创建一个虚拟机,另外在创建虚拟机之前,提前打开vnc客户端,在创建虚拟机的时候,通过vnc
动漫制作技巧是很多新人想了解的问题,今天小编就来解答与大家分享一下动漫制作流程,为了帮助有兴趣的同学理解,大多数人会选择动漫培训机构,那么今天小编就带大家来看看动漫制作要掌握哪些技巧?一、动漫作品首先完成草图设计和原型制作。设计草图要有目的、有对象、有步骤、要形象、要简单、符合实际。设计图要一致性,以保证制作的顺利进行。二、原型制作是根据设计图纸和制作材料,可以是手绘也可以是3d软件创建。在此步骤中,要注意的问题是色彩和平面布局。三、动漫制作制作完成后,加工成型。完成不同的表现形式后,就要对设计稿进行加工处理,使加工的难易度降低,并得到一些基本准确的概念,以便于后续的大样、准确的尺寸制定。四、
2022/8/4更新支持加入水印水印必须包含透明图像,并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时,是将这组图像视为MJPG流。我需要转换一组PNG图像到视频,FFMPEG就不认了。pyav内置了ffmpeg库,不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
Transformers开始在视频识别领域的“猪突猛进”,各种改进和魔改层出不穷。由此作者将开启VideoTransformer系列的讲解,本篇主要介绍了FBAI团队的TimeSformer,这也是第一篇使用纯Transformer结构在视频识别上的文章。如果觉得有用,就请点赞、收藏、关注!paper:https://arxiv.org/abs/2102.05095code(offical):https://github.com/facebookresearch/TimeSformeraccept:ICML2021author:FacebookAI一、前言Transformers(VIT)在图
我对如何计算通过{%assignvar=0%}赋值的变量加一完全感到困惑。这应该是最简单的任务。到目前为止,这是我尝试过的:{%assignamount=0%}{%forvariantinproduct.variants%}{%assignamount=amount+1%}{%endfor%}Amount:{{amount}}结果总是0。也许我忽略了一些明显的东西。也许有更好的方法。我想要存档的只是获取运行的迭代次数。 最佳答案 因为{{incrementamount}}将输出您的变量值并且不会影响{%assign%}定义的变量,我