草庐IT

集群NoSQL

全部标签

[golang 微服务] 6. GRPC微服务集群+Consul集群+grpc-consul-resolver案例演示

一.GRPC微服务集群概念上一节讲解了consul集群:[golang微服务]5.微服务服务发现介绍,安装以及consul的使用,Consul集群,这样的话,当一台server挂掉之后,集群就会从另一台server中获取服务,这就保证了客户端访问consul集群的负载均衡性.这里还有一个问题:就是当终端的对应的微服务挂掉了,consul集群server就不能访问对应的微服务了,这个怎么办呢?这就引入了GRPC微服务集群,那什么是GRPC微服务集群呢?把一个GRPC微服务部署到多台不同的服务器上的功能,就叫GRPC微服务集群,这样当其中一个微服务挂掉后,consul就会访问另外服务器上对应的微服

超详细~使用shell脚本完成用kubeadm工具对k8s集群的搭建

目录1.环境规划2.my_ssh.sh脚本:1.修改/etc/hosts文件部分:2.生成本地ssh公钥部分:3.复制ssh公钥部分:4.复制本地的hosts文件部分:5.完整脚本:3.my_env.sh脚本:1.尝试连接主机部分:2.升级内核部分3.关闭防火墙,禁止使用selinux部分:4.配置chrony服务器部分:5.禁用swap分区等部分:6.完整脚本:4.my_k8,.sh脚本:1.尝试连接主机部分:2.安装docker部分:3.安装k8s组件部分:4.准备集群镜像部分:5.集群初始化部分:6.安装网络插件:7.完整脚本:1.环境规划本脚本使用一主多从的场景,脚本创建在manage

HDFS集群部署成功但网页无法打开如何解决(显示配置通过浏览器访问hdfs的端口)

在学习黑马2023大数据教程过程中,首先依照视频完成了如下配置:【必须】【黑马2023大数据实战教程】大数据集群环境准备过程记录(3台虚拟机)黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程最后node1的hadoop用户下输入start-dfs.sh一键启动hdfs集群成功,三台虚拟机使用`jps’命令查看结果如下:说明集群部署基本是成功的,但是在网页输入"node1:9870"时无法打开网页,显示配置端口最后通过在hdfs-site.xml文件中显示配置通过浏览器访问hdfs的端口:先进到hdfs-site.xml对应目录,我是依照教程部署的,所以cd/export/

ElasticSearch进阶-集群脑裂问题

1.集群脑裂是什么?        所谓脑裂问题,就是同一个集群中的不同节点,对于集群的状态有了不一样的理解,比如集群中存在两个master,正常情况下我们集群中只能有一个master节点。2.集群脑裂场景举例如果因为网络的故障,导致一个集群被划分成了两片,每片都有多个node,以及一个master,那么集群中就出现了两个master了。但是因为master是集群中非常重要的一个角色,主宰了集群状态的维护,以及shard的分配,因此如果有两个master,可能会导致数据异常。如:节点1在启动时被选举为主节点并保存主分片标记为0P,而节点2保存副本分片标记为0R。现在,如果在两个节点之间的通讯中

Elasticsearch 8.x实战 | elasticsearch 8.x 集群离线安装

前言本文以elasticsearch8.6.2为例详述linux集群离线部署步骤,以官网部署教程为基础,针对部署过程中可能的疑问作说明。因为项目安全等的原因,很多时候我们要部署的目标机器是不能访问互联网的。本文是个人离线部署过程记录,希望也能帮助到有同样需要的同学。版本选择elasticsearch版本的更新迭代很快,8.x相较7.x,6.x不仅性能有了大的提升,安全成为必要选项,还增加了许多新的功能。如果纯粹是新项目考虑使用elasticsearch,建议直接考虑8.x版本。本文选择了当前最新的稳定版本8.6.2,后期会再出一个8.6.2版本对于常用功能的支持和限制的评估清单,有需要的朋友可

【Flink】SpringBoot整合Flink并以集群方式运行,可以通过接口来动态创建执行任务,并行度可通过接口动态配置,可以和业务进行交互,灵活性极强,扩展性极高

查阅无数资料,爬了无数个坑!!!整体思路:把SpringBoot当成一个任务放进Flink集群中运行,并且该任务会一直运行,当其他任务需要执行时只需要调用SpringBoot的接口来动态生成任务,可以把每一个接口都当成一个任务,调用接口时Flink会根据当前环境动态创建任务并执行注意事项: 使用./flinkrun命令以后台运行的方式去运行打好的jar包一、引入以下依赖881.81.13.02.121.7.305.1.472.0.3.RELEASEorg.springframework.bootspring-boot-starter-parent2.1.1.RELEASEorg.springf

7700系列交换机集群(堆叠)实践

背景:两台核心7706交换机异地集群(此异地为不同楼层)注意:只有7700往上的设备采用集群的模式,往下是用堆叠分析:由于是异地,所以不能用堆叠线,使用10G业务线链接操作步骤如下:注意点:确保两台交换机之间的10G光纤业务线连接正常灯口亮,收发光正常,比如下图,在最高和最低的区间之内为正常,反之不正常验证命令:distransceiverinterfaceXGigabitEthernet0/0/24verbose1.开机(两台交换机),做堆叠配置#配置LSW1的集群优先级为200(值大的优先),集群连接方式为业务口连接方式。[lsw1]setcssmodelpu[lsw1]setcssid1

kubeadm 部署kubernetes 1.26.1集群 Calico BGP ToR配置

目录机器信息升级内核系统配置部署容器运行时Containerd安装crictl客户端命令配置服务器支持开启ipvs的前提条件安装kubeadm、kubelet和kubectl初始化集群(master)安装CNI Calico集群加入node节点机器信息主机名集群角色IP内核系统版本配置l-shahe-k8s-master1.ops.prodmaster10.120.128.15.4.231-1.el7.elrepo.x86_64CentOSLinuxrelease7.9.2009(Core)32C128G10.120.129.1node10.120.129.15.4.231-1.el7.elr

kubeadm 部署kubernetes 1.26.1集群 Calico BGP ToR配置

目录机器信息升级内核系统配置部署容器运行时Containerd安装crictl客户端命令配置服务器支持开启ipvs的前提条件安装kubeadm、kubelet和kubectl初始化集群(master)安装CNI Calico集群加入node节点机器信息主机名集群角色IP内核系统版本配置l-shahe-k8s-master1.ops.prodmaster10.120.128.15.4.231-1.el7.elrepo.x86_64CentOSLinuxrelease7.9.2009(Core)32C128G10.120.129.1node10.120.129.15.4.231-1.el7.elr

mysql 5.7同步数据到es 7.6.2(集群)

小伙伴们,你们好,我是老寇mysql驱动、canal安装包:https://pan.baidu.com/s/1swrV9ffJnmz4S0mfkuBbIw 提取码:1111目录一、前提条件二、可选方案三、esapi同步数据四、logstash同步数据到es五、mysql通过binlog同步数据到es一、前提条件安装mycat1.6,点点我安装es7.6.2集群,点点我安装logstash7.6.2,点点我二、可选方案在实际项目中,业务数据主流存储在mysql,但是mysql处理海量数据的搜索能力较差,推荐mysql搭配es,为业务提供强大的搜索能力成为业界主流方案,难点在于如何将mysql导入