草庐IT

集群NoSQL

全部标签

【Kafka】MM2同步Kafka集群时如何自定义复制策略(ReplicationPolicy)

文章目录需求准备工作自定义复制策略编译代码需求使用MM2同步集群数据,topic名称不能变,默认的复制策略为:DefaultReplicationPolicy,这个策略会把同步至目标集群的topic都加上一个源集群别名的前缀,比如源集群别名为A,topic为:bi-log,该topic同步到目标集群后会变成:A.bi-log,为啥这么做呢,就是为了避免双向同步的场景出现死循环。官方也给出了解释:这是MirrorMaker2.0中的默认行为,以避免在复杂的镜像拓扑中重写数据。需要在复制流设计和主题管理方面小心自定义此项,以避免数据丢失。可以通过对“replication.policy.class

kafka忽略集群Node信息,直接向`bootstrap.servers`地址发送消息

背景当kafka单机安装的时候或者集群安装的时候,kafka会先通过bootstrap.servers获取集群节点。有时候网络复杂的时候如内网外部署地址映射代理转发等bootstrap.servers配置地址可能为一个公网地址181.39.77.53:9092,然而返回的节点为内网地址172.16.31.33:9092,此时由于未开通172.16.31.33:9092网络,导致访问失败。此时通常有两种解决方案开通kafka返回节点的网络修改kafka连接方式,忽略返回的node节点信息,直接访问bootstrap.servers配置的地址这里主要介绍下方案二,直接访问bootstrap.ser

Ubuntu22 k8s 1.27.1 安装及集群搭建教学(2023.5.16 k8s 最新版本教学,只看这一篇就够了哦!保姆级教程!不行你来找我!)

Ubuntu22k8s1.27.1安装及集群搭建教学(2023.5.16k8s最新版,只看这一篇就够了哦!保姆级教程!!不行你来找我!)温馨提示请仔细阅读:❤️❤️❤️❤️❤️❤️❤️❤️1.由于新版的k8s不支持docker了,因此开始前建议新开一台全新的虚拟机2.全程安装过程最大的问题是网络问题,经常需要拉取到外网的东西,如果条件允许请准备好魔法上网3.请在每一步进行之前妥善利用快照功能,避免一切前功尽弃,有时候网络问题重来一次方便过去解决网络问题产生的麻烦4.建议安装完docker后才克隆新的虚拟机能减轻工作,注意文章标题,并不是所有虚拟机都需要进行相同操作此教程为k8s当前官方最新版1

hadoop伪分布式集群的安装(不是单机版)

准备工作三台虚拟机,关闭防火墙,关闭selinux查看防火状态systemctlstatusfirewalld暂时关闭防火墙systemctlstopfirewalld永久关闭防火墙systemctldisablefirewalld查看selinux状态getenforce暂时关闭selinuxsetenforce0永久关闭selinux在/etc/selinux/config文件中将SELINUX改为disabled 修改主机名称三台主机hostnamectlset-hostnamemasterhostnamectlset-hostnameslave1hostnamectlset-hostn

hadoop伪分布式集群的安装(不是单机版)

准备工作三台虚拟机,关闭防火墙,关闭selinux查看防火状态systemctlstatusfirewalld暂时关闭防火墙systemctlstopfirewalld永久关闭防火墙systemctldisablefirewalld查看selinux状态getenforce暂时关闭selinuxsetenforce0永久关闭selinux在/etc/selinux/config文件中将SELINUX改为disabled 修改主机名称三台主机hostnamectlset-hostnamemasterhostnamectlset-hostnameslave1hostnamectlset-hostn

zookeeper集群

文章目录一、Zookeeper介绍1、什么是Zookeeper2、Zookeeper的应用场景二、搭建ZooKeeper服务器1、zoo.conf配置文件说明2、Zookeeper服务器的操作命令三、Zookeeper内部的数据模型1、zk是如何保存数据的2、zk中的znode是什么样的数据结构3、zk中节点znode的类型4、zk的数据持久化四、Zookeeper客户端(zkCli)的使用1、多节点类型创建2、查询节点3、删除节点3、权限设置五、Curator客户端的使用1、Curator介绍2、引入依赖3、编写配置curator配置类4、测试六、zk实现分布式锁1、zk中锁的种类:2、zk

Rancher管理k8s集群

一、Rancher介绍1.1、Rancher简介Rancher是一个开源的企业级多集群Kubernetes管理平台,实现了Kubernetes集群在混合云+本地数据中心的集中部署与管理,以确保集群的安全性,加速企业数字化转型。超过40,000家企业每天使用Rancher快速创新。官网:Rancher文档|K8S文档|Rancher|Rancher文档1.2、Rancher和k8s的区别Rancher和k8s都是用来作为容器的调度与编排系统。但是rancher不仅能够管理应用容器,更重要的一点是能够管理k8s集群。Rancher2.x底层基于k8s调度引擎,通过Rancher的封装,用户可以在不

如何建设一个用于编译 iOS App 的 MacOS 云服务器集群?

作者:京东零售叶萌现代软件开发一般会借助CI/CD来提升代码质量、加快发版速度、自动化重复的事情,iOSApp只能在mac机器上编译,CI/CD工具因此需要有一个macOS云服务器集群来执行iOSApp的编译。今天就来谈谈如何建设macOS云服务器集群购买macmini/MacStudio机器最简单的方式就是购买一批mac机器,买它个1000台,买回来后放入机房,把其中一台机器作为管理机,申请办公网访问这台机器的网络权限,每次要维护这批机器里的软件时,先从办公网进入管理机,然后从管理机在远程连接到其他机器。虚拟化macOS集群借助macOS官方的Virtualization.Framework

SpringCloud 远程调用Feign、网关Gateway、配置中心Nacos、微服务架构小结、Nacos搭建集群

 统一检查mavenmaven依赖出错的解决注意代码格式化。因代码格式混乱,导致代码出错,pom.xml出现重复的parent标签学习方法,听得懂为什么要这么做,要远远比怎么做重要的多一、远程调用Feign能够使用Feign进行远程调用能够给Feign配置日志输出1.Feign简介Feign是Netflix公司提供服务调用组件,单独使用Feign非常麻烦。SpringCloud对Feign做了集成封装,提供了声明式服务调用组件Open-Feign。Open-Feign支持SpringMVC注解。是SpringCloud提供的一个声明式的伪Http客户端,它使得调用远程服务就像调用本地服务一样简

ElasticSearch集群服务器配置

一、环境介绍与安装准备1、环境说明2台虚拟机,OS为ubuntu13.04,ip分别为xxx.xxx.xxx.140和xxx.xxx.xxx.145。2、安装准备ElasticSearch(简称ES)由java语言实现,运行环境依赖java。ES1.x版本,官方推荐至少使用jdk1.6的环境,建议使用oraclejava,可以去官网下载,本文使用jdk-7u51-linux-i586.gz。ES可以去官网下载,也可以在这里下载,本文使用elasticsearch-1.0.1.tar.gz。二、安装1、安装JAVA关于java的安装,请参照这里。2、ES安装(1)解压elasticsearch-