草庐IT

集群NoSQL

全部标签

《Linux运维总结:elasticsearch集群节点类型详解》

一、elasticsearch集群节点类型在elasticsearch中,节点可以分为以下几种类型:1、主节点(masternode)主节点是elasticsearch集群中的一种特殊节点,主要职责是负责集群操作相关的内容,如创建或删除索引,跟踪哪些节点是群集的一部分,并决定哪些分片分配给相关的节点。主节点不参与数据的存储和搜索,因此可以是比较轻量级的节点。2、数据节点(datanode)数据节点主要是存储索引数据的节点,主要对文档进行增删改查操作,聚合操作等。数据节点对CPU、内存、IO要求较高,在优化的时候需要监控数据节点的状态,当资源不够的时候,需要在集群中添加新的节点。3、客户端节点(

K8s集群重启与恢复-Master节点启停

1应用场景场景:在实际工作中,可能某个Master节点需要维护,迁移,我们需要平滑的停止、启动该节点,尽量减少启停中对集群造成的影响注意:为了确保K8s集群能够安全恢复,请在操作前对K8s数据进行备份为了确保重启Master节点期间K8s集群能够使用,集群中Master节点数量要大于等于3若启停的Master节点上有etcd服务,在启停该Master节点期间,请勿对集群资源进行任何操作,包括添加、更新、删除等,否则会导致启停节点的etcd数据失效2操作步骤2.1备份数据略,后续补充2.2停止Master节点调度#查看信息kubectlgetnode#停止Master节点调度,停止后,上面已经运

GreenPlum集群部署之抽丝剥茧

📢📢📢📣📣📣哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验一位上进心十足的【大数据领域博主】!😜😜😜中国DBA联盟(ACDU)成员,目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发,备份恢复,安装迁移,性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】,欢迎关注【IT邦德】💞💞💞❤️❤️❤️感谢各位大可爱小可爱!❤️❤️❤️文章目录前言📣1.GreenPlum介绍📣2.安装包下载📣3.环境准备✨3.1集群规划✨3.2host设置✨3.3用户及组创建✨3.4配置文件✨3.5配置互信✨3.6关闭防

k8s实战案例之部署Zookeeper集群

1、Zookeeper简介zookeeper是一个开源的分布式协调服务,由知名互联网公司Yahoo创建,它是Chubby的开源实现;换句话讲,zookeeper是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列;2、PV/PVC及zookeeper3、构建zookeeper镜像3.1、下载java环境基础镜像,将对应镜像修改本地harbor地址上传至harbor3.2基于java环境基础镜像,构建zookeeper镜像root@k8s-master01:~/k8s-data/

【基于容器的部署、扩展和管理】3.1 容器编排系统和Kubernetes集群的构建

往期回顾:第一章:【云原生概念和技术】第二章:【容器化应用程序设计和开发】3.1基于容器的部署、扩展和管理3.1.1容器介绍3.1.2容器编排系统和Kubernetes集群的构建3.1.2.1Kubernetes集群3.1.2.2容器编排系统3.1.3Kubernetes集群搭建步骤基于容器的部署、扩展和管理是一种现代软件开发和部署的方式,它提供了快速、可重复、可移植的开发和部署流程,同时也简化了应用程序的扩展和管理。3.1.1容器介绍在基于容器的部署中,应用程序被打包成容器镜像,这个镜像包含了应用程序的所有依赖项、代码和配置。这个镜像可以在任何支持容器化部署的环境中运行,例如Linux、Wi

【云原生】k8s集群命令行工具kubectl之集群管理命令

kubectl集群管理命令详解一、准备工作1.1、ReplicationController1.2、Deployment1.3、DaemonSet1.4、查看创建的svc和pod1.5、kubectl命令自动补全设置二、集群管理命令2.1、top2.2、cordon2.3、uncordon2.4、drain2.5、taint2.5.1、污点设置。2.5.2、容忍度使用一、准备工作Kubernetes提供的集群控制平面(master节点)与KubernetesAPIServer通信的命令行工具——kubectl。kubectl默认配置文件目录$HOME/.kube/config。可以通过--ku

【云原生】k8s集群命令行工具kubectl之集群管理命令

kubectl集群管理命令详解一、准备工作1.1、ReplicationController1.2、Deployment1.3、DaemonSet1.4、查看创建的svc和pod1.5、kubectl命令自动补全设置二、集群管理命令2.1、top2.2、cordon2.3、uncordon2.4、drain2.5、taint2.5.1、污点设置。2.5.2、容忍度使用一、准备工作Kubernetes提供的集群控制平面(master节点)与KubernetesAPIServer通信的命令行工具——kubectl。kubectl默认配置文件目录$HOME/.kube/config。可以通过--ku

MySQL集群:双主模式

目录1、双主模式1.1、高可用架构1.2、MMM架构(基于双主模式)1.2.1、MMM故障处理机制1.2.2、MMM监控机制1.3、MHA架构(基于主从模式)1.3.1、MHA故障处理机制1.3.2、MHA优点1.4、主备切换1.4.1、主备延迟问题1.4.2、可靠性优先1.4.3、可用性优先2、双主模式实战 2.1、修改master1的my.ini配置文件2.2、​​​​​​​在主库master1配置slave访问master1的用户的ip权限2.3、修改master2的my.ini配置文件​​​​​​​2.4、在主库master2配置slave访问master2的用户的ip权限​​​​​​

MySQL集群:双主模式

目录1、双主模式1.1、高可用架构1.2、MMM架构(基于双主模式)1.2.1、MMM故障处理机制1.2.2、MMM监控机制1.3、MHA架构(基于主从模式)1.3.1、MHA故障处理机制1.3.2、MHA优点1.4、主备切换1.4.1、主备延迟问题1.4.2、可靠性优先1.4.3、可用性优先2、双主模式实战 2.1、修改master1的my.ini配置文件2.2、​​​​​​​在主库master1配置slave访问master1的用户的ip权限2.3、修改master2的my.ini配置文件​​​​​​​2.4、在主库master2配置slave访问master2的用户的ip权限​​​​​​

大数据Hadoop集群之超级详细的Hive安装配置

大数据Hadoop集群之Hive安装配置目录大数据Hadoop集群之Hive安装配置1.导入Hive压缩包并查看2.解压至module3.配置环境变量4.配置HIVE文件4.1配置hive-env.sh4.2查看版本4.3配置hive-site.xml5.安装mysql6.初始化mysql7.重启mysql8.在mysql中创建存放元数据的数据库9.修改存放hive元数据的数据库字符集为latin110.下载MySQL插件11.更新Hadoop中的jline文件12.格式化mysql服务13.在hdfs创建hive存储目录(如存在则不用操作)14.hive启动时java.net.Connect