草庐IT

zookeeper-cluster

全部标签

hadoop - 多个服务可以使用同一个 Zookeeper 实例吗?

一个Zookeeper安装是否足以被HadoopKafka和Storm集群使用?我想将所有部署在一个测试环境中并尝试使用这些技术,我可以为此使用一个zookeeper安装吗?同一个znode可以专用于多个服务? 最佳答案 是的,您可以使用单个zookeeper安装来支持多个集群,甚至是不同类型的集群。很长一段时间以来都是这种情况-这里有一个链接,指向2009年对此进行的很好的讨论:http://zookeeper-user.578899.n2.nabble.com/Multiple-ZK-clusters-or-a-single-s

ubuntu - 清除 Zookeeper 数据目录

我对Hadoop/Hbase和zookeeper很陌生。我在hbaseshell中运行createtable命令时遇到以下异常。org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing在this有人提到我需要遵循以下步骤的问题:1.StopZookeeper2.WipetheZookeeperdatadirectory3.Restartit解决这个问题。谁能解释一下如何在Ubuntu中执行这些步骤。任何帮助将不胜感激 最佳答案 /zookeeperHome/co

scala - Cluster 模式下使用 Spark 写入文件到本地系统

我知道这是一种使用Spark的奇怪方式,但我正在尝试使用Spark将数据帧保存到本地文件系统(不是hdfs),即使我处于集群模式。我知道我可以使用客户端模式,但我确实想在集群模式下运行并且不关心哪个节点(3个中的)应用程序将作为驱动程序运行。下面的代码是我正在尝试做的伪代码。//createdataframevaldf=Seq(Foo("John","Doe"),Foo("Jane","Doe")).toDF()//saveittothelocalfilesystemusing'file://'becauseitdefaultstohdfs://df.coalesce(1).rdd.s

hadoop - 了解 Spark : Cluster Manager, Master 和 Driver 节点

读完这篇question,我想再问一些问题:集群管理器是一个长期运行的服务,它在哪个节点上运行?主节点和驱动节点可能是同一台机器吗?我假设某处应该有一条规则说明这两个节点应该不同?如果Driver节点出现故障,谁负责重新启动应用程序?究竟会发生什么?即主节点、集群管理器和工作节点将如何参与(如果他们参与),以及以什么顺序参与?与上一个问题类似:如果主节点发生故障,具体会发生什么情况以及谁负责从故障中恢复? 最佳答案 1.TheClusterManagerisalong-runningservice,onwhichnodeitisru

shell - get "ERROR: Can' t 从 ZooKeeper 获取主地址; znode data == null"使用 Hbase shell 时

我安装了Hadoop2.2.0和Hbase0.98.0,这是我所做的:$./bin/start-hbase.sh$./bin/hbaseshell2.0.0-p353:001>list然后我得到了这个:ERROR:Can'tgetmasteraddressfromZooKeeper;znodedata==null为什么我会收到这个错误?另一个问题:我需要在运行base之前运行./sbin/start-dfs.sh和./sbin/start-yarn.sh吗?另外,./sbin/start-dfs.sh和./sbin/start-yarn.sh有什么用?这是我的一些conf文档:hbas

scala - Spark : check your cluster UI to ensure that workers are registered

我在Spark中有一个简单的程序:/*SimpleApp.scala*/importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.SparkConfobjectSimpleApp{defmain(args:Array[String]){valconf=newSparkConf().setMaster("spark://10.250.7.117:7077").setAppName("SimpleApplication").set("spark.cores.m

zookeeper之节点基本操作(头歌)

第一关:创建/删除节点开启ZooKeeper服务器。zkServer.shstart使用客户端(zkCli.sh)连接客户端(IP:127.0.0.1,端口号:2181)。zkCli.sh-server127.0.0.1:2181创建/enode临时节点(节点数据为空)。create-e/enode""创建/spnode持久节点(节点数据为空)。create/spnode""断开客户端(zkCli.sh)与客服端连接。quit第二关:子节点创建、列出、删除本关任务是使用命令行,进行以下操作:开启ZooKeeper服务器。zkServer.shstart使用客户端(zkCli.sh)连接服务器(

hadoop - Hadoop 中的 HBase 和 ZooKeeper 角色?

我已经在我的Ubuntu机器上安装了Hadoop单节点集群,并且能够运行NameNode、datanode等。现在我需要安装HBase和Zookeeper。但我真的不知道它们是什么。伙计们谁能给我简要介绍一下这些工具。谢谢 最佳答案 首先,我强烈建议您浏览这些项目的官方页面。去here用于HBase和here对于Zookeeper。HBase是一种在现有Hadoop集群(HDFS)之上运行的NoSQL数据存储。它为您提供随机、实时读/写等功能,而HDFS作为FS所缺乏的。由于它是一个NoSQL数据存储,因此它不遵循SQL约定和术语。

漏洞修复 Zookeeper、MySQL、Elasticsearch

漏洞修复一、HTTP漏洞修复1.1漏洞说明1.2漏洞修复1.2.1升级HTTPD到最新版本(2.4.53)1.2.1.1服务器有网的情况下执行以下操作:安装CodeIT库cd/etc/yum.repos.dwgethttps://repo.codeit.guru/codeit.el7.repo更新httpdyumupdatehttpd检查是否更新版本httpd-version重启服务systemctlrestarthttpd1.2.1.2服务器没有网执行以下操作下载rpm包:下载地址:https://repo.codeit.guru/packages/centos/7/x86_64/下载以下r

ELFK日志分析系统(六)之搭建ELK+Filebeat+Kafka+Zookeeper

文章目录引言一、为什么要做日志分析平台?二、ELK+Filebeat+Kafka+Zookeeper架构三、搭建ELK+Filebeat+Kafka+Zookeeper1、安装zookeeper1.1解压安装zookeeper软件包1.2修改配置文件1.3给每个机器指定对应的节点号1.4启动zookeeper1.5开启之后,查看三个节点zookeeper状态2、安装kafka2.1安装kafka(3台机子都要操作)2.2修改配置文件2.3将相关命令加入到系统环境当中2.4启动kafkaKafka命令行操作2.5创建topic2.6测试topic3、配置数据采集层filebeat(192.168