Part01背景介绍 城市物联网实时数仓主要解决政务运营管理以及数据共享问题，其业务场景方面包含：物联平台基础统计信息，如用户总数、设备总数、产品总数、行业总数等；实时设备行为，如实时在线数、设备活跃率、实时设备告警数等；运营管理相关统计，如共享接口被访问次数、部门新增设备数、接口数据量等。技术方面，主要基于Hadoop开源技术栈，主要分为数据源层、数据采集层、离线计算与实时计算层、数据集市层、分析存储层、数据服务层等。其中数据源层：包括物联网OLTP业务数据、日志数据、网关调用数据；数据采集层：基于DataX，Flume，FileBeat等各服务业务之间的数据汇聚、融合等问题，将不同系统的数

Part01容灾介绍 我们通常会把故障分为三类，一是主机故障，二是机房故障，三是地域故障。每类故障都有各自的诱发因素，而从主机到机房再到地域，故障发生概率依次越来越小，而故障的影响却越来越大。图片容灾能力的建设目标是非常明确的，就是要能够应对和处理这种机房级和地域级的大规模故障，从而来保障业务的连续性。近几年，业界也发生了多次数据中心级别的故障，对相关公司的业务和品牌产生了非常大的负面影响。当前容灾能力已经成为众多企业建设信息化系统的必选项。Part02容灾架构演进 容灾架构从最早期的同城主备到同城多活形态，再演化到异地多活，根据这个过程可以将容灾分为容灾1.0、容灾2.0、容灾3.0三个阶段

Part01QoS服务  国内的运营商网络一般都会提供QoS。QoS指的是网络利用各种基础技术，以提供更好的服务能力来支持特定的网络通信。它是一种网络安全机制，旨在解决网络延迟和阻塞等问题。简单来说，当网络拥堵时，运营商会优先处理重要的流量包，而将一些不重要的包丢弃。具体丢弃哪些包则取决于使用场景和运营商的策略。对于受到QoS限制的用户而言，可能会出现以下表现：网速降低、丢包、ping值不稳定。在这种情况下，细分场景用户往往希望进一步获取更好的网络质量以满足场景使用，例如更高的带宽、更少的丢包和更低的延迟。需要注意的是，QoS并不区分TCP和UDP。对于UDP来说，除了常规的QoS限制，还可能

Spark之探究RDD如何了解一个组件，先看看官方介绍！进入RDD.scala，引入眼帘的是这么一段描述文字（渣翻勿喷）：​ RDD，弹性分布式数据集，是Spark中的基础抽象。代表了一个可以被并行化操作的不可变、可分区的要素集合。这个类包含了任何RDD都可使用的基本操作，例如map,filter。​ 此外，PairRDDFuncations声明了只有KV对RDD才可使用的操作，例如groupByKey、join；DoubleRDDFuncations声明了只有DoublesRDD才可使用的操作；SequenceFileRDDFuncations声明了只有可序列化RDD才可使用的操作。所有的操

Part01什么是云电脑和键鼠适配？云电脑是目前非常热门的一项新技术，它基于云计算，将大量的存储、计算资源都整合成一个大的资源池并存放在云端，按需分配给用户。云端会通过高速网络，将电脑的画面投送到用户的设备上。云电脑的终端设备类型非常丰富,有能随身携带的普通手机、Pad，能连接电视的机顶盒，以及一些老旧电脑终端等等。对于普通电脑而言，最常用的操作输入设备就是鼠标和键盘。云电脑想要替代传统笔记本，就需要在各种终端都要适配键盘和鼠标。但是由于很多移动设备在交互上更会注重触摸交互，其对键盘和鼠标的支持往往不尽如人意。再加上终端厂商会对其终端设备系统进行高度的定制化，加剧了在云电脑在键鼠适配支持的碎片

如图所示，云电脑对网络强依赖，没有网络，云电脑无法使用，所以网络环境的稳定至关重要，网络之上传输的主要是视频媒体流数据，云电脑其实就是将云端操作系统的桌面图像复制一份传输到终端本地再显示出来，让用户感觉像是在操作本地电脑一样，那么整个图像数据的传输过程（传多少帧、帧率怎么调节、端侧解码性能）是影响用户体验的核心关键点。Part01假如没有帧率协商机制  如果说端云之间没有传输帧率的协商机制，就会出现音画不同步，最终无法使用；整个过程大致如下：用户点击连接，发起云电脑的远程连接，此时云端已经响应连接后开始进行桌面的图像采集传输，云端根据桌面系统的使用场景按需采集和传输，如播放了一部60FPS的视

Part01功能介绍 开发者控制台功能1.服务实例管理：Kafka集群实例配置信息及白名单管理。2.数据统计：统计单Topic、Group每日消息生产量及消费量。3.Topic管理：Topic基础信息及订阅关系管理。4.ConsumerGroup管理：Group基础信息及消费状态管理。后台管理系统1.服务集群管理：提供Kafka集群实例添加及配置管功能。2.授权用户管理：为开发者配置Kafka集群实例及资源权限。城市物联网平台实现的Kafka推送是在开源ApacheKafka2.8.x版本上，增加了以用户为维度的鉴权、授权机制以及资源管理功能，同时实现了与规则引擎的数据对接，通过配置规则引擎，

Part01为什么需要限流呢？ 大量正常用户高频访问导致服务器宕机用户恶意高频访问导致服务宕机网页爬虫对于这些情况我们需要对用户的访问进行限流访问，限流的目的是保护服务节点或集群底层的存储资源，防止调用方过度使用服务，引起系统崩溃，或者某个调用方过度的使用某个服务，导致其他服务的不可用，为了维持系统的稳定性和可用性，限流刻不容缓。Part02常见的限流算法介绍 2.1计数器限流计数器法是限流算法里最简单也是最容易实现的一种算法，具体规则为：在指定周期内累加访问次数，当访问的次数达到我们设定的阈值时，触发限流策略，当进入下一个时间周期时会将访问次数重新清零。👍优点：实现简单；❌缺点：突刺现象，如

在网络传输中，随机丢包是一种常见且不可避免的现象，常见的随机丢包原因有：1️⃣网络拥塞：当网络拥塞时，网络设备（如路由器、交换机等）会出现缓存溢出、队列满等情况，导致数据包无法及时处理，从而出现丢包现象。2️⃣传输错误：数据包可能会因为传输介质的问题或者传输过程中的干扰等原因导致数据包损坏，无法通过网络数据正确性校验，数据包被丢弃导致丢包现象。此外，数据包的乱序也是网络传输中的常见现象，当网络拥塞时，不同数据包在传输过程中可能会经过不同路径，而不同路径的带宽和延迟不同导致数据包乱序到达。为解决随机丢包与乱序的问题，各个传输控制协议分别引入了各自的错误恢复机制，比较典型的是：TCP引入了ACK，

启动速度优化的难易程度与具体的app关系很大，基本随着用户量级和业务的增加，启动优化的难度也随之增加。因此不同的开发人员由于面对的app不同，对于启动优化的理解也往往差异很大。本文针对启动优化工作做一次深入的分析，从启动优化问题的定义，到问题的细化分解，再到具体优化的步骤和需要使用的工具，来帮助开发者高效的解决启动性能问题。文章中除了工具部分是针对Android平台之外，其余部分的思考应该是通用的。Part01问题定义  启动优化是一个非常普遍的工作，很多开发同学听到这个词之后，基本上会下意识的对其进行解释：”启动优化就是提升app的启动速度“。这个理解是最直接最朴素的，但是只是涵盖了启动优化