草庐IT

五分制

全部标签

五分钟技术趣谈 | 场景宽带的底层由来

Part01QoS服务  国内的运营商网络一般都会提供QoS。QoS指的是网络利用各种基础技术,以提供更好的服务能力来支持特定的网络通信。它是一种网络安全机制,旨在解决网络延迟和阻塞等问题。简单来说,当网络拥堵时,运营商会优先处理重要的流量包,而将一些不重要的包丢弃。具体丢弃哪些包则取决于使用场景和运营商的策略。对于受到QoS限制的用户而言,可能会出现以下表现:网速降低、丢包、ping值不稳定。在这种情况下,细分场景用户往往希望进一步获取更好的网络质量以满足场景使用,例如更高的带宽、更少的丢包和更低的延迟。需要注意的是,QoS并不区分TCP和UDP。对于UDP来说,除了常规的QoS限制,还可能

五分钟了解Spark之RDD!!

Spark之探究RDD如何了解一个组件,先看看官方介绍!进入RDD.scala,引入眼帘的是这么一段描述文字(渣翻勿喷):​ RDD,弹性分布式数据集,是Spark中的基础抽象。代表了一个可以被并行化操作的不可变、可分区的要素集合。这个类包含了任何RDD都可使用的基本操作,例如map,filter。​ 此外,PairRDDFuncations声明了只有KV对RDD才可使用的操作,例如groupByKey、join;DoubleRDDFuncations声明了只有DoublesRDD才可使用的操作;SequenceFileRDDFuncations声明了只有可序列化RDD才可使用的操作。所有的操

五分钟技术趣谈 | 云电脑终端鼠标键盘适配原理

Part01什么是云电脑和键鼠适配?云电脑是目前非常热门的一项新技术,它基于云计算,将大量的存储、计算资源都整合成一个大的资源池并存放在云端,按需分配给用户。云端会通过高速网络,将电脑的画面投送到用户的设备上。云电脑的终端设备类型非常丰富,有能随身携带的普通手机、Pad,能连接电视的机顶盒,以及一些老旧电脑终端等等。对于普通电脑而言,最常用的操作输入设备就是鼠标和键盘。云电脑想要替代传统笔记本,就需要在各种终端都要适配键盘和鼠标。但是由于很多移动设备在交互上更会注重触摸交互,其对键盘和鼠标的支持往往不尽如人意。再加上终端厂商会对其终端设备系统进行高度的定制化,加剧了在云电脑在键鼠适配支持的碎片

五分钟技术趣谈 | 云电脑视频流帧率协商机制

如图所示,云电脑对网络强依赖,没有网络,云电脑无法使用,所以网络环境的稳定至关重要,网络之上传输的主要是视频媒体流数据,云电脑其实就是将云端操作系统的桌面图像复制一份传输到终端本地再显示出来,让用户感觉像是在操作本地电脑一样,那么整个图像数据的传输过程(传多少帧、帧率怎么调节、端侧解码性能)是影响用户体验的核心关键点。Part01假如没有帧率协商机制  如果说端云之间没有传输帧率的协商机制,就会出现音画不同步,最终无法使用;整个过程大致如下:用户点击连接,发起云电脑的远程连接,此时云端已经响应连接后开始进行桌面的图像采集传输,云端根据桌面系统的使用场景按需采集和传输,如播放了一部60FPS的视

五分钟技术趣谈 | 城市平台Kafka推送实现分析

Part01功能介绍 开发者控制台功能1.服务实例管理:Kafka集群实例配置信息及白名单管理。2.数据统计:统计单Topic、Group每日消息生产量及消费量。3.Topic管理:Topic基础信息及订阅关系管理。4.ConsumerGroup管理:Group基础信息及消费状态管理。后台管理系统1.服务集群管理:提供Kafka集群实例添加及配置管功能。2.授权用户管理:为开发者配置Kafka集群实例及资源权限。城市物联网平台实现的Kafka推送是在开源ApacheKafka2.8.x版本上,增加了以用户为维度的鉴权、授权机制以及资源管理功能,同时实现了与规则引擎的数据对接,通过配置规则引擎,

五分钟技术趣谈 | 聊一聊系统限流算法

Part01为什么需要限流呢? 大量正常用户高频访问导致服务器宕机用户恶意高频访问导致服务宕机网页爬虫对于这些情况我们需要对用户的访问进行限流访问,限流的目的是保护服务节点或集群底层的存储资源,防止调用方过度使用服务,引起系统崩溃,或者某个调用方过度的使用某个服务,导致其他服务的不可用,为了维持系统的稳定性和可用性,限流刻不容缓。Part02常见的限流算法介绍 2.1计数器限流计数器法是限流算法里最简单也是最容易实现的一种算法,具体规则为:在指定周期内累加访问次数,当访问的次数达到我们设定的阈值时,触发限流策略,当进入下一个时间周期时会将访问次数重新清零。👍优点:实现简单;❌缺点:突刺现象,如

五分钟技术趣谈 | 浅谈网络传输中的错误恢复机制

在网络传输中,随机丢包是一种常见且不可避免的现象,常见的随机丢包原因有:1️⃣网络拥塞:当网络拥塞时,网络设备(如路由器、交换机等)会出现缓存溢出、队列满等情况,导致数据包无法及时处理,从而出现丢包现象。2️⃣传输错误:数据包可能会因为传输介质的问题或者传输过程中的干扰等原因导致数据包损坏,无法通过网络数据正确性校验,数据包被丢弃导致丢包现象。此外,数据包的乱序也是网络传输中的常见现象,当网络拥塞时,不同数据包在传输过程中可能会经过不同路径,而不同路径的带宽和延迟不同导致数据包乱序到达。为解决随机丢包与乱序的问题,各个传输控制协议分别引入了各自的错误恢复机制,比较典型的是:TCP引入了ACK,

五分钟技术趣谈 | 浅谈Android应用启动优化方法

启动速度优化的难易程度与具体的app关系很大,基本随着用户量级和业务的增加,启动优化的难度也随之增加。因此不同的开发人员由于面对的app不同,对于启动优化的理解也往往差异很大。本文针对启动优化工作做一次深入的分析,从启动优化问题的定义,到问题的细化分解,再到具体优化的步骤和需要使用的工具,来帮助开发者高效的解决启动性能问题。文章中除了工具部分是针对Android平台之外,其余部分的思考应该是通用的。Part01问题定义  启动优化是一个非常普遍的工作,很多开发同学听到这个词之后,基本上会下意识的对其进行解释:”启动优化就是提升app的启动速度“。这个理解是最直接最朴素的,但是只是涵盖了启动优化

五分钟技术趣谈 | 数字可视化技术原理浅析

Part01城市物联网平台的可视化编辑器 可视化编辑器是一种基于图形界面的工具,可帮助开发人员通过拖拽、点击等操作替代软件开发中的代码编写、页面设计等任务。相比传统的文本编辑器,可视化编辑器可大大提高开发效率,减少编写代码的时间和精力成本,同时降低代码出错率。可视化编辑器在物联网平台上的应用越来越广泛。随着物联网设备的增加,物联网应用程序的开发变得越来越复杂和耗时。传统的文本编辑器已难以满足开发人员的需求,因此可视化编辑器的出现为物联网平台的开发提供了便捷的解决方案。可视化编辑器在物联网平台上的主要作用是简化软件开发过程,提高开发效率。通过可视化编辑器,开发人员可以通过预设的节点组件加上简单的

五分钟技术趣谈 | Openstack网络模型场景分析

Part01Openstack是什么? Openstack是一个云计算平台,它是由多个组件组合起来,为公有云、私有云和混合云的建设与管理提供软件的开源项目。现在已经有来自100多个国家的数万名个人和200多家企业参与到Openstack的开发,如NASA、华为、谷歌、惠普、Intel、IBM、微软等[1]。Openstack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。Part02Openstack能干什么? Openstack可以规划并管理大量虚拟机,从而允许企业或服务提供商按需提供计算资源;Openstack可以为云服务或云应用提供所需的对象及块存储资源。为了解决传统的网络管理