草庐IT

容错性

全部标签

Linux raid工作原理和特性

RAID:独立硬盘冗余阵列,简称磁盘阵列作用:用来来提升性能和冗余(容错性)。RAID把多个硬盘组合成为一个逻辑硬盘,因此,操作系统只会把它当作一个实体硬盘RAID实现的功能:性能提升磁盘冗余(容错性)RAID实现方式:硬件实现:RAID卡(外接和主板内置)---生产环境一般永这种软件实现:软件来模拟出来RAID级别:级别:多块磁盘组织在一起的工作方式有所不同无论哪一种RAID,功能都是把多块硬盘组合在一起使用。RAID-0至少两块硬盘及以上才有意义(两块硬盘大小要一样,不然就浪费了),两块硬盘组成RAID-0后就会形成一个新的设备(RAID的逻辑设备名称)。空间大小:多块硬盘大小的总和存放文

机器学习 拜占庭容错方法: Bulyan

论文链接:http://proceedings.mlr.press/v80/mhamdi18a/mhamdi18a.pdfSGD存在问题数据并行的SGD梯度聚合是所有梯度的线性组合,即:\(F(G_1,...,G_n)=\sum_{i=1}^n\lambda_iG_i\)因此一个恶意的节点可以让全局模型朝着自己想的方向偏移(\(G_n\)为恶意节点的梯度):\(G_n=\dfrac{1}{\lambda_n}(U-\sum_{i=1}^{N-1}\lambda_iG_i)\)如图所示:由此,我们需要新的梯度聚合规则(GAR)\((\alpha,f)\)-ByzatineResilientGAR

机器学习 拜占庭容错方法: Bulyan

论文链接:http://proceedings.mlr.press/v80/mhamdi18a/mhamdi18a.pdfSGD存在问题数据并行的SGD梯度聚合是所有梯度的线性组合,即:\(F(G_1,...,G_n)=\sum_{i=1}^n\lambda_iG_i\)因此一个恶意的节点可以让全局模型朝着自己想的方向偏移(\(G_n\)为恶意节点的梯度):\(G_n=\dfrac{1}{\lambda_n}(U-\sum_{i=1}^{N-1}\lambda_iG_i)\)如图所示:由此,我们需要新的梯度聚合规则(GAR)\((\alpha,f)\)-ByzatineResilientGAR

《分布式技术原理与算法解析》学习笔记Day20

CAP理论什么是CAP理论?CAP理论用来指导分布式系统设计,以保证系统的可用性、数据一致性等。C,Consistency,一致性,指所有节点在同一时刻的数据是相同的,即更新操作执行结束并响应用户完成后,所有节点存储的数据会保持相同。A,Availability,可用性,指系统提供的服务一直处于可用状态,对于用户的请求可即时响应。P,PartitionTolerance,分区容错性,指在分布式系统遇到网络分区的情况下,仍然可以响应用户的请求。网络分区是指因为网络故障导致网络不连通,不同节点分布在不同的子网络中,各个子网络内网络正常。一致性、可用性和分区容错性是分布式系统的三个特征。CAP理论是

《分布式技术原理与算法解析》学习笔记Day20

CAP理论什么是CAP理论?CAP理论用来指导分布式系统设计,以保证系统的可用性、数据一致性等。C,Consistency,一致性,指所有节点在同一时刻的数据是相同的,即更新操作执行结束并响应用户完成后,所有节点存储的数据会保持相同。A,Availability,可用性,指系统提供的服务一直处于可用状态,对于用户的请求可即时响应。P,PartitionTolerance,分区容错性,指在分布式系统遇到网络分区的情况下,仍然可以响应用户的请求。网络分区是指因为网络故障导致网络不连通,不同节点分布在不同的子网络中,各个子网络内网络正常。一致性、可用性和分区容错性是分布式系统的三个特征。CAP理论是

大数据Hadoop之——Flink的状态管理和容错机制(checkpoint)

目录一、Flink中的状态1)键控状态(KeyedState)1、控件状态特点2、键控状态类型3、状态有效期(TTL)1)过期数据的清理2)全量快照时进行清理3)增量数据清理4)在RocksDB压缩时清理4、键控状态的使用2)算子状态(OperatiorState)1、算子状态特点2、算子状态类型3)广播状态(BroadcastState)二、状态后端(StateBackends)1)三种状态存储方式2)配置方式1、【第一种方式】基于代码方式进行配置2、【第二种方式】基于flink-conf.yaml配置文件的方式进行配置三、容错机制(checkpoint)1)一致性2)检查点(checkpo

大数据Hadoop之——Flink的状态管理和容错机制(checkpoint)

目录一、Flink中的状态1)键控状态(KeyedState)1、控件状态特点2、键控状态类型3、状态有效期(TTL)1)过期数据的清理2)全量快照时进行清理3)增量数据清理4)在RocksDB压缩时清理4、键控状态的使用2)算子状态(OperatiorState)1、算子状态特点2、算子状态类型3)广播状态(BroadcastState)二、状态后端(StateBackends)1)三种状态存储方式2)配置方式1、【第一种方式】基于代码方式进行配置2、【第二种方式】基于flink-conf.yaml配置文件的方式进行配置三、容错机制(checkpoint)1)一致性2)检查点(checkpo

现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理

本文是系列第五篇,终章。系列文章:现代图片性能优化及体验优化指南-图片类型及Picture标签的使用现代图片性能优化及体验优化指南-响应式图片方案现代图片性能优化及体验优化指南-缩放精细化展示及避免布局偏移、拉伸现代图片性能优化及体验优化指南-懒加载及异步图像解码方案图片资源,在我们的业务中可谓是占据了非常大头的一环,尤其是其对带宽的消耗是十分巨大的。对图片的性能优化及体验优化在今天就显得尤为重要。本文,就将从各个方面阐述,在各种新特性满头飞的今天,我们可以如何尽可能的对我们的图片资源,进行性能优化及体验优化。图片资源的容错及可访问性处理OK,最后一个章节,我们简单聊一聊图片资源的容错及可访问

现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理

本文是系列第五篇,终章。系列文章:现代图片性能优化及体验优化指南-图片类型及Picture标签的使用现代图片性能优化及体验优化指南-响应式图片方案现代图片性能优化及体验优化指南-缩放精细化展示及避免布局偏移、拉伸现代图片性能优化及体验优化指南-懒加载及异步图像解码方案图片资源,在我们的业务中可谓是占据了非常大头的一环,尤其是其对带宽的消耗是十分巨大的。对图片的性能优化及体验优化在今天就显得尤为重要。本文,就将从各个方面阐述,在各种新特性满头飞的今天,我们可以如何尽可能的对我们的图片资源,进行性能优化及体验优化。图片资源的容错及可访问性处理OK,最后一个章节,我们简单聊一聊图片资源的容错及可访问

常见的六种容错机制:Fail-Over、Fail-Fast、Fail-Back、Fail-Safe,Forking 和 Broadcast

目录1、Fail-Over:故障转移2、Fail-Fast:快速失败3、Fail-Back:失效自动恢复4、Fail-Safe:失效安全5、Forking:并行调用多个服务6、Broadcast:广播调用参考资料版权声明1、Fail-Over:故障转移Fail-Over意思是“故障转移,失败自动切换”,是一种备份操作模式。它的主要思路是:主要组件出现异常时,将其功能转移到具有同样功能的备份组件上。要点在于有主有备,且主发生故障时,可将备切换为主。比如HDFS的双NameNode,当ActiveNameNode出现故障时,可以启用StandbyNameNode来继续提供服务。【最佳实践】通常用于