目前在工作中经常接触到集群的概念，通过这篇文章总结一下集群的几种方式以及和分布式对比学习1.集群（Cluster）集群是由多个计算机节点组成的网络，旨在共同提供服务，并确保高性能和高可用性。在高可用集群中，它主要关注保证用户应用程序持续对外提供服务的能力。通过多个节点协同工作，集群能够减少因软件、硬件或人为故障而对业务造成的影响。（一个业务，部署在多台服务器上，这就是集群。这里的一个业务，可以直接看做一个程序包。）1.1集群的分类1.1.1高可用性集群（HighAvailabilityCluster）高可用性集群旨在确保系统持续稳定运行，即使发生故障也能提供无间断的服务。它通过多个节点共同工作

未来的竞争，是数据之争。大数据本质上是Hadoop的生态群，下面是常用技术词汇ETL：代表提取、转换和加载。Hadoop：分布式系统基础架构HDFS：分布式文件系统HBase：大数据的NoSQL数据库Hive：数据仓库工具DAG：第二代计算引擎Spark：第三代数据处理引擎Flink：第四代数据处理引擎MapReduce：最初的并行计算框架Sqoop：nosql数据库和传统数据库之间传输数据的工具Hive：数据仓库工具Storm：分布式实时计算系统Flume：分布式的海量日志采集系统。Kafka：分布式发布订阅消息系统ElasticSearch：分布式搜索引擎Kibana：ElasticSea

一、什么是集群？        集群是指将多台服务器集中在一起，每台服务器都实现相同的业务，做相同的事；但是每台服务器并不是缺一不可，存在的主要作用是缓解并发能力和单点故障转移问题。集群主要具有以下特征：（1）、伸缩性        在一些大系统中，预测最终用户的数量和行为是非常困难的，伸缩性是指系统使用不断增长的用户数的能 力；随着用户数的增长，我们只需将新的服务器加入集群中即可，对于用户来看，服务无论从连续性还是性能上都几乎没有变化，好像系统在不知不觉中完成了升级。（2）、高可用性        单一服务器的解决方案并不是一个健壮方式，因为容易出现单点失效，在某些关键的应用程序是不能容忍的

服务器leader选举为进一步了解ZooKeeper的leader选举过程，本节实训利用服务器的关闭启动，观察服务器的leader产生过程。利用以下命令查看当前服务器节点的状态(/xxx为安装目录)：./xxx/bin/zkServer.shstatus当仅启动1个服务器节点，服务器状态如下： 服务器通信报错，集群未运行（3个节点，法定人数至少为2）。当启动第2个节点后，分别查看第1个和第2个服务器状态： 可以发现，第1个服务器转换为follower，第2个服务器转换为leader（可对比上一关启动时leader选举过程）。当启动第3个节点后，由于已经存在了leader，那么第3个节点应该为f

目录前言一、问题重现1、查询Hadoop版本 2、集群启动Hadoop二、问题分析三、Hadoop3.x的集群配置1、停止Hadoop服务2、配置workers3、从节点检测4、WebUI监控总结前言        在大数据的世界里，Hadoop绝对是一个值得学习的框架。关于Hadoop的知识，有很多博主和视频博主都做了很详细的教程，感兴趣的朋友甚至可以去官网看看。比如其分布式架构的实现，在这里都不在赘述，大家可以通过多种途径进行学习。        这篇博客出现得场景缘由是最近基于Hbase2.4.11搭建完全分布式集群，集群的节点是3。至于为什么是3，主要是机器有限，而且是同一台物理主机上

样本均值的分布及中心极限定理样本均值的分布：设X1，X2，X3，....Xn为从某一总体中抽出的随机样本，因此X1，X2，X3，....Xn为互相独立且与总体有相同分布的随机变量。现在要知道样本均值的分布（反复抽样，样本均值当然会服从一定的分布），首先要知道总体的分布。当总体分布服从正太分布N（μ，σ2），样本均值的分布将服从：上面的公式表明，的期望值与总体均值相同，而方差则缩小为总体方差的1/n。这说明当用样本均值去估计总体均值时，平均来说没有偏差，当n越来越大时，的散布程度越来越小，即用估计μ越来越准确。然而实际情况是，总体的分布并不总是正太分布或近似正太分布，此时的的分布也将取决于总体分

目录前提条件步骤查看版本匹配集群规划下载、解压、配置环境变量配置hbase-env.sh配置hbase-site.xml配置regionservers配置备用master软连接hadoop配置文件到HBase配置目录分发hbase启动集群验证停止集群前提条件拥有3台CentOS7集群安装好hadoop3.1.3集群，点击查看hadoop3.x集群安装教程安装好zookeeper集群，点击查看zk集群安装教程步骤查看版本匹配查看hbase与jdk、hadoop的版本匹配hbase与jdk版本匹配hbase与hadoop版本匹配集群规划NodeNameMasterZooKeeperRegionSe

为了更好的阅读体验，请点击这里4.1多层感知机4.1.1隐藏层由于仿射变换中的线性是一个很强的假设，因此导致了线性模型可能会不适用。线性意味着单调假设：任何特征的增大都会导致模型输出的增大或者模型输出的减小。但是违反单调性的例子比比皆是。除此之外，分类任务中，仅依托像素强度分类也很不合理。由于任何像素的重要性都以复杂的方式取决于该像素周围的值。对于深度神经网络，用观测数据来联合学习隐藏层表示和应用于该表示的线性预测器。因此可以在网络中加入隐藏层。把前\(L-1\)层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机。但是具有全连接层的多层感知机的参数开销可能太过巨大。用矩阵\(\b

如果一个软件开发人员，不了解软件架构的演进，会制约技术的选型和开发人员的生存、晋升空间。这里我列举了目前主要的四种软件架构以及他们的优缺点，希望能够帮助软件开发人员拓展知识面。一、单体架构单体架构比较初级，典型的三级架构，前端(Web/手机端)+中间业务逻辑层+数据库层。这是一种典型的JavaSpringmvc或者PythonDrango框架的应用。其架构图如下所示：单体架构单体架构的应用比较容易部署、测试，在项目的初期，单体应用可以很好地运行。然而，随着需求的不断增加，越来越多的人加入开发团队，代码库也在飞速地膨胀。慢慢地，单体应用变得越来越臃肿，可维护性、灵活性逐渐降低，维护成本越来越高。

Redis完全就是《数据密集型应用系统设计》的简单实现，主打一个**大道至简**。推荐配合这本书（或者15-445+6.824）一起看[1]。本文就从分布式视角来介绍下Redis集群模式，顺便看看一些经典的分布式问题在redis下如何解决。**这篇文章主要提供一个highlevel的视角，也就是聚焦于所有分布式系统都会有的一些问题，而不仅限于Redis，阅读时可以多带入自己熟悉的系统的视角。**比如mysql，bin-log/redo-log/undo-log/2PC解决的问题在本文中分别就对应了：复制（或者恢复）/故障恢复/事务隔离性/事务原子性[3]。[1]《数据密集型应用系统设计》第一三