草庐IT

zookeeper1

全部标签

hadoop - 在测试环境中使用 Hadoop 和 Zookeeper 请求 Apache Accumulo 错误帮助

我正在使用apacheaccumulover1.4.0、hadoopver0.20.2和zookeeperver3.3.3设置测试环境。请参阅下面的问题。Hadoop和Zookeeper一起工作得很好,但是当我开始使用apache孵化器上的程序积累时,我得到以下zookeeper信息流和警告:2011-12-0820:13:56,601-INFO[main:QuorumPeerConfig@90]-Readingconfigurationfrom:/home/hadoop/zookeeper-3.3.3/bin/../conf/zoo.cfg2011-12-0820:13:56,603

hadoop - Hadoop单点故障能否通过集成Zookeeper来解决?

我正在寻找通过集成Zookeeper并允许Hadoop使用Zookeeper的命名空间来解决单点故障的问题?是否可以?我们怎样才能解决这个问题? 最佳答案 当然,这在技术上可能是可行的,但这还没有以任何形式或形式实现。您不能只是将它插入ZooKeeper中……它需要一些工程工作才能完成(也许由您完成?!)。这里有几个解决这个问题的建议:AvatarNodeMapR(商业软件)Ahigh-availabilityNameNodehasbeenintheworksandmightendupsooninafuturerelease

hadoop - hbase standalone 和 zookeeper standalone 在一台机器上

是否可以在单机中以独立模式同时运行Hbase和外部zookeeper?它卡在clientPort问题上。请澄清一下? 最佳答案 是的,这是可能的。为此,您必须更改外部动物园管理员服务器的客户端端口。进入外部zookeeper的conf目录。打开zoo.cfg文件。如果它不在那里,而是zoo_sample.cfg在那里,那么做mvconf/zoo_sample.cfgconf/zoo.cfg创建它。在zoo.cfg文件中,将clientPort=2181的默认端口号更改为2182。同时将dataDir更改为您希望的某个目录。例如-我会

hadoop - 使用 zkcli.sh bash 通过 oozie shell 操作将 solr 配置从 hdfs 发送到 zookeeper

每次我尝试将solr配置发送给zookeeper时,我都会在下面遇到异常。作为confdir,我输入了这个地址:“hdfs://some_address/user/Peter/dir_with_date”。在bash脚本后面的jars中实现时,我看到有一个Paths.get方法,它将我的带有配置的字符串转换为没有双斜杠的字符串(“hdfs:/some_ad...”)。Exceptioninthread"main"java.io.IOException:Pathhdfs:/some_address/user/Peter/dir_with_datedoesnotexistatorg.apa

hadoop - HBase 与 Java 8 和 zookeeper 有问题

我想安装hbase1.2.4。当我尝试运行bin/start-hbase.sh时,我收到以下警告。OpenJDK64-BitServerVMwarning:ignoringoptionPermSize=128m;supportwasremovedin8.0OpenJDK64-BitServerVMwarning:ignoringoptionMaxPermSize=128m;supportwasremovedin8.0'hbaseshell命令生成了大量众所周知的zookeeper异常...ERROR[main]zookeeper.RecoverableZooKeeper:ZooKeep

java - HBase:Zookeeper 告诉远程客户端连接到本地主机

这里是HBase/Hadoop的super新手。我启动并运行了一个双节点HBase测试集群,现在我正尝试从远程Java客户端连接到该集群。这是我卡住的地方:客户端成功连接到单服务器Zookeeperquorum(与HBasemaster在同一台服务器上运行),但是Zookeeper传回给客户端的地址是localhost,并且(显然)客户端失败连接到任何东西,因为HBase没有在本地运行。考虑到出于管理原因我无法编辑客户端主机文件(无论如何我都不愿意这样做,因为这看起来像是一个糟糕的hack),有没有办法让Zookeeper为HBase主服务器?Java代码:publicstaticfi

hadoop - zookeeper和kafka在hadoop 2.6集群中放在哪里

Hadoop2.6使用Yarn作为下一代mapreduce,也是集群管理器。我们还需要使用zookeeper和hadoop2.6来管理集群服务吗?我们如何设置动物园管理员。如何为hadoop集群安装Kafka连接。kafka将数据发送到hadoop文件系统的消费者和生产者是什么。它们都适合什么地方。我已经设置了一个hadoop2.6单节点集群。接下来,我的理解是让zookeeper和Kafka将数据流式传输到hadoop文件系统。而且我不知道如何将kafka用于hadoop或其api。 最佳答案 Zookeeper是分布式系统的协调

java - 在 ZooKeeper 中,有没有办法不用自己实现分布式锁,原子地编写层次结构?

假设我想把这棵树写给动物园管理员.a./\.bc./\.de一些其他客户端可能会在我创建节点b之后但在我能够写入节点“d”或“e”之前出现并删除它。有没有一种方法可以原子地编写这个层次结构,或者可能锁定某个路径? 最佳答案 您可以使用新的multi()API它完成所有操作或全部中止它们。 关于java-在ZooKeeper中,有没有办法不用自己实现分布式锁,原子地编写层次结构?,我们在StackOverflow上找到一个类似的问题: https://stack

hadoop - 3 次重试后 ZooKeeper 存在失败

我正在以伪分布式模式运行Hadoop-1.2.1和HBase-0.94.11。由于电源故障,Hadoop和HBase设置出现故障。下次我重新启动机器并设置伪分布时,HBase停止工作,并在HBaseshell上出现以下错误:13/11/2713:53:27ERRORzookeeper.RecoverableZooKeeper:ZooKeeperexistsfailedafter3retries13/11/2713:53:27WARNzookeeper.ZKUtil:hconnectionUnabletosetwatcheronznode(/hbase/hbaseid)org.apach

hadoop - 使用 Zookeeper 客户端连接到 Hadoop 集群的 KrbException - UNKNOWN_SERVER

我的Zookeeper客户端无法连接到Hadoop集群。这在LinuxVM上运行良好,但我使用的是Mac。我在JVM上设置了-Dsun.security.krb5.debug=true标志并得到以下输出:Foundticketforsolr@DDA.MYCO.COMtogotokrbtgt/DDA.MYCO.COM@DDA.MYCO.COMexpiringonSatApr2903:15:04BST2017EnteredKrb5Context.initSecContextwithstate=STATE_NEWFoundticketforsolr@DDA.MYCO.COMtogotokrb