草庐IT

zookeeper

全部标签

redis - zookeeper 与 redis 服务器同步

我有一小群服务器需要保持同步。我最初的想法是让一台服务器成为“主服务器”并使用redis的发布/订阅功能发布更新(因为我们已经在使用redis进行存储)并让集群中的其他服务器(从服务器)轮询更新一项长时间运行的任务。这似乎是一种保持一切同步的简单方法,但后来我想到了一个显而易见的问题:如果我的“主人”宕机了怎么办?这就是我开始研究确保始终有一个主人的技术的地方,这让我阅读了有关领导人选举等想法的文章。最后,我偶然发现了ApacheZookeeper(通过python绑定(bind),“pettingzoo”),它显然为您处理了很多容错逻辑。我也许可以编写自己的领导者选择代码,但我认为它

redis - Zookeeper vs 内存数据网格 vs Redis

我在多个资源中发现了不同的zookeeper定义。也许其中一些是断章取义的,但请看一下:AcanonicalexampleofZookeeperusageisdistributed-memorycomputation...ZooKeeperisanopensourceApache™projectthatprovidesacentralizedinfrastructureandservicesthatenablesynchronizationacrossacluster.ApacheZooKeeperisanopensourcefileapplicationprograminterfac

docker - 使用 docker-compose 设置 Kafka

您好,我目前正在使用Docker设置Kafka。我已经设法使用已发布的融合图像设置Zookeeper和Kafka,请参阅以下docker-compose文件:version:'2'services:zookeeper:image:confluentinc/cp-zookeeper:3.2.0container_name:zookeeperhostname:zookeeperports:-"2181:2181"environment:ZOOKEEPER_CLIENT_PORT:2181ZOOKEEPER_TICK_TIME:2000restart:alwayskafka:image:co

docker - 使用 docker-compose 设置 Kafka

您好,我目前正在使用Docker设置Kafka。我已经设法使用已发布的融合图像设置Zookeeper和Kafka,请参阅以下docker-compose文件:version:'2'services:zookeeper:image:confluentinc/cp-zookeeper:3.2.0container_name:zookeeperhostname:zookeeperports:-"2181:2181"environment:ZOOKEEPER_CLIENT_PORT:2181ZOOKEEPER_TICK_TIME:2000restart:alwayskafka:image:co

unit-testing - 如何在 golang 中模拟 Zookeeper 服务器进行单元测试?

我正在使用图书馆gozk将我的应用程序与生产zookeeper服务器连接起来。我想测试应用程序是否创建了正确的节点,它们是否包含各种情况下的正确内容,以及DataWatch和NodeWatch是否设置正确:即应用程序根据节点和数据更新执行应执行的操作。我能否拥有一个仅在单元测试期间创建和销毁的模拟zookeeper服务器,并且能够人为地创建新节点并设置节点内容?除了手动创建zookeeper服务器并使用它之外,还有其他方法吗?java的解决方案已经存在 最佳答案 我建议将您调用zookeeper的代码变成一个接口(interface

Zookeeper & Kafka 开启安全认证的配置

导语:zookeeper和kafka在默认情况下,是没有开启安全认证的,那么任意客户端可以在不需要任何身份认证的情况下访问zookeeper和kafka下的各节点,甚至可以进行节点的增加,修改以及删除的动作。注意,前面的动作是基于客户端能访问服务端所在的网络,如果进行了物理隔绝或者做了防火墙限制,那前述内容就不一定成立。但是,在某些对安全加固要求比较严格的客户或者生产环境中,那就必须开启安全认证才行。除了最基本的身份认证以外,还有针对每个节点的权限访问,但本文不涉及该话题。进入正题,先从zookeeper开始配置,zookeeper官网提供了认证配置的参考,点击下方官网地址,即可查看详情。配置

Zookeeper & Kafka 开启安全认证的配置

导语:zookeeper和kafka在默认情况下,是没有开启安全认证的,那么任意客户端可以在不需要任何身份认证的情况下访问zookeeper和kafka下的各节点,甚至可以进行节点的增加,修改以及删除的动作。注意,前面的动作是基于客户端能访问服务端所在的网络,如果进行了物理隔绝或者做了防火墙限制,那前述内容就不一定成立。但是,在某些对安全加固要求比较严格的客户或者生产环境中,那就必须开启安全认证才行。除了最基本的身份认证以外,还有针对每个节点的权限访问,但本文不涉及该话题。进入正题,先从zookeeper开始配置,zookeeper官网提供了认证配置的参考,点击下方官网地址,即可查看详情。配置

java - 使用 HBql Zookeeper 不会尝试使用 SASL 进行身份验证

我想测试HBql以简单使用HBase。我按照HBql网站(http://www.hbql.com/installation.html)上描述的步骤进行操作。最后,当在HBql-console中键入版本命令以验证我的安装时,我收到以下消息:[main]INFOorg.apache.zookeeper.ZooKeeper-Clientenvironment:zookeeper.version=3.4.4-1386507,builton09/17/201208:33GMT[main]INFOorg.apache.zookeeper.ZooKeeper-Clientenvironment:ho

linux - 启动 HBase Shell - Zookeeper 存在但失败

我正在尝试在Ubuntu上运行HBase。我已经安装并可以启动它(它会发出一些警告,因为我使用的是64位系统,但我被告知可以忽略这些)。但是,当我尝试启动shell时,我收到以下错误消息,但我是新手,所以我很难弄清楚。它说Zookeeper存在但失败了4次-你知道为什么吗?2015-12-0312:34:37,796WARN[main]util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable2015-12-0312:34:

39学习分布式计算框架 Hadoop 的高可用方案,如 NameNode 集群、ZooKeeper

Hadoop是一个分布式计算框架,用于存储和处理大数据。在Hadoop集群中,NameNode是一个关键组件,它负责管理Hadoop分布式文件系统(HDFS)中的文件和目录。为了确保高可用性,需要使用多个NameNode节点进行冗余备份,并使用ZooKeeper进行故障检测和自动故障切换。以下是学习Hadoop高可用方案的步骤和示例代码:安装Hadoop集群首先,需要安装Hadoop集群。可以使用ApacheHadoop的官方文档中提供的步骤来安装Hadoop。这里不再赘述。配置NameNode集群要配置NameNode集群,需要在Hadoop配置文件中指定多个NameNode节点,并启用Na