草庐IT

UE像素流,来颗“减肥药”吧!

xosg 2024-02-23 原文

Part1前言

像素流是虚幻引擎UE5提供的前后端分离框架:服务器运行UE5,前端渲染UI,中间传输视频流。这样,即使是无显卡的低端电脑或手机也能访问运行着UE5的服务器。
但是UE官方的像素流代码库非常臃肿,文档匮乏,难以直接使用,我们将其改造成轻量版的,开箱即用的像素流前端库以及信令服务器,地址:
https://github.com/inveta/peer-stream。
除此之外,我们还开发了与之配套的工具链,自动化监护像素流的生命周期,即使服务器无人管理也能正常运行。

Part2UE5自启动:飞快的启动速度

拜UE5的HLOD技术(Nanite以及WorldPartition)所赐,UE5打包程序启动时间基本在5s以内(即使是超大的模型),因此UE5没必要一直开在服务器上耗资源,网页访问的时候再临时启动,反正耽误不了几秒钟。在我们的开源库中,UE5自启动程序写在信令服务器中:当WebSocket有来自前端的新连接时,就启动UE5,无人访问时经过一段时间自动关闭UE5。

Part3单例模式:线程安全的文件锁

UE5自启动需要考虑线程安全的问题:如果前端有高并发的连接,很可能会启动多个UE5进程,那就给服务器带来巨大的压力。除此之外,运维人员如果不规范操作,也可能意外的打开多个UE5,导致系统崩溃。为了从根源上避免这个问题,我们开源了UE5单例模式插件:它严格限制了在同一台电脑上至多只能同时开启一个UE5实例,通过文件锁实现原子操作,非常稳定。
插件地址:https://github.com/inveta/SingleTon。

Part4UE5自动退出:节省系统资源

当没人看的时候,UE5自动关闭是理所应当的,但空闲关闭的超时时间需要设定在合理的区间内,时间设置既不能太短也不能太长:时间太短的话易发生频繁的启动与关闭,增加死机的风险;时间太长的话则形同虚设了,浪费系统资源。因此在合理的范围内,经过多次尝试,我们的像素流插件通过以下3种超时时间来控制UE5的生命周期,

● 信令服务器断开后10s内退出UE5:连信令服务器都挂了,UE5也就没有存在的必要了,但是为了防止短暂的中断,10s以内重连可以不用退出。
● 前端断开后,30分钟内退出UE5:用户关闭网页后,留30分钟观察期,期间若有新的网页连入,则停止计时器。
● UE5启动超过24小时后,退出UE5:有时候人不在电脑跟前,但浏览器保持着连接,导致UE5连续运行过长的时间,也会严重耗电,因此设定UE5最大运行时长为24小时。

Part5节流与防抖:最大程度预防崩溃

时间控制是像素流生态链中最不能忽视的细节,因为整个系统需要各种计时器来维护生命周期,处理异常状态,不同计时器的时间单位从毫秒到秒到分钟再到小时不等,除了上一节说到的3种UE5自动退出计时,为了节流和防抖,整个系统中还设定了以下8种计时器来应对可能的网络攻击。

● WebSocket断开后3s内自动重连:无需手动重连,也不立即重连。
● 初始化DataChannel请求延迟500ms:防止网页疯狂刷新。
● Dom元素断开后1s内不断开:防止前端JS代码不规范导致元素高频割接。
● 信令服务器500ms内至多建立1次WS连接:防止WebSocket崩溃。● 每50s发起一次WS心跳连接:避免代理服务器宕机。
● 信令服务器与UE5之间每分钟互发一次ping-pong保活请求。
● UE5每秒通过WebRTC向前端发送QP参数,监控网络状态和视频质量。
● 初始化时,UE5每秒向信令服务器发送10次WebSocket连接请求。

有关UE像素流,来颗“减肥药”吧!的更多相关文章

  1. ruby-on-rails - 如何在 Rails Controller Action 上触发 Facebook 像素 - 2

    我有一个ruby​​onrails应用程序。我按照facebook的说明添加了一个像素。但是,要跟踪转化,Facebook要求您将页面置于达到预期结果时出现的转化中。即,如果我想显示客户已注册,我会将您注册后转到的页面作为成功对象进行跟踪。我的问题是,当客户注册时,在我的应用程序中没有登陆页面。该应用程序将用户带回主页。它在主页上显示了一条消息,所以我想看看是否有一种方法可以跟踪来自Controller操作而不是实际页面的转化。我需要计数的Action没有页面,它们是ControllerAction。是否有任何人都知道的关于如何执行此操作的gem、文档或最佳实践?这是进入布局文件的像素

  2. UE4 源码阅读:从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame

  3. ruby-on-rails - 在服务器端检测屏幕尺寸和像素密度? - 2

    我一直在做一些研究,我想我已经知道答案了,但我想知道是否有任何方法可以在不使用javascript或依赖CSS3媒体的情况下获得设备的屏幕尺寸和像素密度查询。本质上,我正在研究如何获取屏幕分辨率和像素密度,以便服务器可以决定在URI请求中为服务器提供哪个图像。到目前为止,我还没有发现任何证据表明这是可能的,但我想嘿,为什么不问问呢? 最佳答案 我不完全同意上面的正确答案。实际上,这个答案在很多情况下都是正确的……但理论上并非如此。通常向Web服务器发出的请求包含一个User-Agent字段,从理论上讲,该字段可用于识别有关设备屏幕分

  4. ruby - 在 Ruby 中逐像素读取图像 - 2

    我正在尝试打开一个图像文件并按颜色将像素列表存储在变量/数组中,以便我可以一个一个地输出它们。图像类型:可以是BMP、JPG、GIF或PNG。任何一个都可以,只需要支持一个。颜色输出:RGB或Hex。我查看了几个库(RMagick、Quick_Magick、Mini_Magick等),它们看起来都太过分了。Heroku在使用ImageMagick时也有一些困难,我的测试无法运行。我的应用程序在Sinatra中。有什么建议吗? 最佳答案 您可以使用Rmagick的each_pixel为此的方法。each_pixel接收一个block。

  5. ruby - RMagick - 如何找出图像的像素尺寸 - 2

    如何找到以像素为单位的图像宽度和高度?image.x_resolution和image.y_resolution由于某种原因都返回0。 最佳答案 require'rmagick'img=Magick::Image.ping('demo.png').firstwidth=img.columnsheight=img.rows注意从注释导入的.ping方法。如果你需要读取图像来处理它,然后使用Magick::Image.read('demo.png').first-ping的使用在这个工作独立代码并加快某些图像类型的处理速度,其中IM只能

  6. javascript - 将 Leaflet LatLng 投影到平铺像素坐标 - 2

    对于Canvas图层,如何访问特定图block的点击像素?给定像{lat:37.68816,lng:-119.76196}这样的LatLng,我如何:#1,检索正确的点击block,#2,block内的像素坐标?这两个都应该考虑maxNativeZoom。 最佳答案 需要像L.CRS.EPSG3857这样的CRS。map的CRS可通过map.options.crs访问。需要真正的缩放、图block大小(如256,但可能为512或更高maxNativeZoom)和像素原点,如map.getPixelOrigin():constlatl

  7. javascript - 如何计算 JavaScript 中字符串的长度(以像素为单位)? - 2

    如何在JavaScript中计算字符串的长度(以像素为单位)? 最佳答案 你可以使用简单的代码varcanvas=document.createElement('canvas');varctx=canvas.getContext("2d");ctx.font="11pxArial";varwidth=ctx.measureText(str).width; 关于javascript-如何计算JavaScript中字符串的长度(以像素为单位)?,我们在StackOverflow上找到一个类似

  8. javascript - 获取以屏幕像素为单位的旋转 SVG 元素的边界? - 2

    我正在尝试找到以屏幕像素为单位获取任意SVG元素边界框的最佳方法,以便正确覆盖HTML元素。到目前为止,我的方法是使用.getBBox()和.getCTM()检索对象的边界框和变换矩阵,然后将变换应用于边界框点如thisquestion的已接受答案中所述.//gettheelementvarel=$(selector)[0],pt=$(selector).closest('svg')[0].createSVGPoint();//gettheboundingboxandmatrixvarbbox=el.getBBox(),matrix=el.getScreenCTM();pt.x=bbo

  9. javascript - Bootstrap 获取 div 列的宽度(以像素为单位) - 2

    我正在使用Bootstrap设置一个页面。我的布局工作得很好,但其中一个元素是美国的可缩放map(使用d3)。我使用的缩放功能需要div的宽度和高度(以像素为单位),以便计算如何平移和缩放map。我试过使用百分比,但我什么也做不了。有什么方法可以动态获取div的高度和宽度。我搜索了所有内容,但搜索词太笼统(或者我不够聪明,无法正确表达)。或者,我还可以通过其他方式获得必要的值。这是我使用硬编码宽度和高度的实现(如果页面调整大小,这将不起作用)。//makethemapelementvarwidth=1000;varheight=1000;varsvg=d3.select("#Map")

  10. javascript - 使用Canvas将不透明像素变成白色 - 2

    我正在寻找一种方法来拍摄图像(Logo、应用程序图标等)并使用javascript/canvas将它们转换为白色(不包括透明度)。这是我想要的示例(显然使用静态图像):http://jsfiddle.net/4ubyj/ 最佳答案 CanvasAPI具有专门用于“仅在原始图像中不透明的像素上绘制”之类的合成方法。这比弄乱图像数据要容易得多。jsFiddle示例(现在带有内联图像)向@WilliamVanRensselaer最初的fiddle致敬。您想要的复合操作是source-in,这意味着“仅在绘制图像中不透明像素之上绘制我要绘制

随机推荐