草庐IT

集群NoSQL

全部标签

从零开始搭建Elasticsearch集群遇到的问题

文章目录安装elasticsearch下载elasticsearch-8.1.2-linux-x86_64.tar.gz使用Xshell将文件传入虚拟机解压启动elasticsearch创建新用户和授权修改系统限制关闭https选项修改防火墙配置安装elasticsearch-head安装Node.js安装git解压启动elasticsearch-head搭建elasticsearch集群修改配置启动Elasticsearch集群安装elasticsearch下载elasticsearch-8.1.2-linux-x86_64.tar.gz链接:https://pan.baidu.com/s/

从零开始搭建Elasticsearch集群遇到的问题

文章目录安装elasticsearch下载elasticsearch-8.1.2-linux-x86_64.tar.gz使用Xshell将文件传入虚拟机解压启动elasticsearch创建新用户和授权修改系统限制关闭https选项修改防火墙配置安装elasticsearch-head安装Node.js安装git解压启动elasticsearch-head搭建elasticsearch集群修改配置启动Elasticsearch集群安装elasticsearch下载elasticsearch-8.1.2-linux-x86_64.tar.gz链接:https://pan.baidu.com/s/

实现高可用的Zookeeper集群:使用Zookeeper和其他开源工具

作者:禅与计算机程序设计艺术《79.实现高可用的Zookeeper集群:使用Zookeeper和其他开源工具》1.引言1.1.背景介绍随着分布式系统的广泛应用,如何实现高可用的Zookeeper集群成为了许多开发者关注的问题。Zookeeper作为一款成熟且广泛使用的开源分布式协调系统,以其高性能、高可用性、高扩展性等优点受到了许多开发者青睐。同时,Zookeeper也提供了丰富的API接口,使得开发者可以方便地使用其他开源工具进行集群的构建和管理。本文旨在通过介绍如何使用Zookeeper实现高可用的Zookeeper集群,以及相关技术原理、优化与改进方法等,为开发者提供一定的参考。1.2.

Kubernetes集群调度增强之超容量扩容

作者:京东科技 徐宪章1什么是超容量扩容超容量扩容功能,是指预先调度一定数量的工作节点,当业务高峰期或者集群整体负载较高时,可以使应用不必等待集群工作节点扩容,从而迅速完成应用横向扩容。通常情况下HPA、ClusterAutosacler和超容量扩容同时使用以满足负载敏感度高的业务场景。超容量扩容功能是通过K8S应用优先级设置和ClusterAutosaler共同作用实现的,通过调整低优先级空载应用的数量,使集群已调度资源保持在较高的状态,当其他高优先级应用因为HPA或者手动调整应用分片数量时,可以通过驱逐空载的方式腾空调度资源却保高优先级应用可以在第一时间调度并创建。当空载应用从被驱逐转变为

Kubernetes集群调度增强之超容量扩容

作者:京东科技 徐宪章1什么是超容量扩容超容量扩容功能,是指预先调度一定数量的工作节点,当业务高峰期或者集群整体负载较高时,可以使应用不必等待集群工作节点扩容,从而迅速完成应用横向扩容。通常情况下HPA、ClusterAutosacler和超容量扩容同时使用以满足负载敏感度高的业务场景。超容量扩容功能是通过K8S应用优先级设置和ClusterAutosaler共同作用实现的,通过调整低优先级空载应用的数量,使集群已调度资源保持在较高的状态,当其他高优先级应用因为HPA或者手动调整应用分片数量时,可以通过驱逐空载的方式腾空调度资源却保高优先级应用可以在第一时间调度并创建。当空载应用从被驱逐转变为

Hbase集群搭建超详细教程

Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好,我是风云,欢迎大家关注我的博客,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己!前言HBase是一个开源的、分布式的、版本化的非关系型数据库,它利用Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)提供分布式数据存储。存储结构化和半结构化的数据,可以进行随机访问的

Hbase集群搭建超详细教程

Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好,我是风云,欢迎大家关注我的博客,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己!前言HBase是一个开源的、分布式的、版本化的非关系型数据库,它利用Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)提供分布式数据存储。存储结构化和半结构化的数据,可以进行随机访问的

Kafka高性能集群部署与优化

Kafka高性能集群部署与优化一、简介1.基本概念2.Kafka生态系统二、Kafka集群部署1.Kafka节点规划2.集群环境准备3.集群容错设计原则三、Kafka高性能优化1.硬件优化CPU优化内存优化磁盘IO优化2.Kafka参数配置优化Broker配置Producer配置Consumer配置3.数据压缩和批量发送压缩选择批处理方式四、Kafka监控和运维1.监控指标和工具a.消息队列监控b.系统监控c.服务监控2.告警机制设计a.告警类型b.告警门限和策略五、Kafka容量评估与扩容1.容量预估方法2.扩容原则和方法六、安全和权限设置1.安全风险分析和规避2.权限设计与管理一、简介1.

开源免费用|Apache Doris 2.0 推出跨集群数据复制功能

随着企业业务的发展,系统架构趋于复杂、数据规模不断增大,数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍,如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基础上,跨集群复制(Cross-ClusterReplication,CCR)应运而生,并逐渐成为数据和服务高可用性的重要保障。CCR通常被用于容灾备份、读写分离、集团与公司间数据传输和隔离升级等场景。容灾备份:通常是将企业的数据备份到另一个集群与机房中,当突发事件导致业务中断或丢失时,可以从备份中恢复数据或快速进行主备切换。一般在对SLA要求比较高的场景中,都需要进行容灾备份,比如在金融、医疗、电子商务等领域中比较常

docker进行RocketMq集群部署

环境:(1)Centos7(2)JDK1.8(3)docker(4)rocketmq4.8两台服务器ipA:192.168.5.49B:192.168.5.50集群模式1、单节点:优点:本地开发测试,配置简单,同步刷盘消息一条都不会丢缺点:不可靠,如果宕机,会导致服务不可用2、主从(异步、同步双写):优点:同步双写消息不丢失,异步复制存在少量丢失,主节点宕机,从节点可以对外提供消息的消费,但是不支持写入缺点:主备有短暂消息延迟,毫秒级,目前不支持自动切换,需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主节点3、双主:优点:配置简单,可以靠配置RAID磁盘阵列保证消息可靠