草庐IT

集群NoSQL

全部标签

ELK集群部署---LogStash,Filebeat的部署

1. 环境规划:主机名IP地址角色node1192.168.56.111ElasticSearch(master)ZookeeperKafkanode2192.168.56.112ElasticSearch(slave)KibanaZookeeperKafkanode3192.168.56.113ElasticSearch(slave)ZookeeperKafkanode4192.168.56.114LogstashFilebeat2. node4节点已经安装jdk:[root@node4~]#java-versionjavaversion"1.8.0_202"Java(TM)SERuntim

Kafka系列之:深入理解Kafka集群调优

Kafka系列之:深入理解Kafka集群调优一、Kafka硬件配置选择二、Kafka内存选择三、CPU选择四、网络选择五、生产者调优六、broker调优七、消费者调优八、Kafka总体调优一、Kafka硬件配置选择服务器台数选择:2*(生产者峰值生产速率*副本数/100)+1磁盘选择:Kafka按照顺序读写,机械硬盘和固态硬盘,顺序读写速度差不多二、Kafka内存选择Kafka内存=堆内存(kafka内部配置)+页缓存(服务器内存)堆内存10~15Gjstat-gc234651s10S0CS1CS0US1UECEUO

DolphinScheduler 3.1.0 海豚集群运维使用问题记录

文章目录海豚常见问题1.认证问题2.时区问题3.jdk问题导致的认证问题4.海豚调度sqoop任务问题(1.海豚不允许脚本有空行出现(2.脚本调脚本:权限不足(3.直接执行某个表的sqoop同步任务:(4.sudo权限不足5.海豚配置hive/impala数据源问题(1.海豚连接hive数据源配置(2.配置完数据源报错,执行对应sql报错6.告警测试出现的问题(1.查看告警所在服务器日志:cdh213,告警模块未启动(2.缺少hdfs相关配置文件(3.设置告警实例,告警组(4.集群停掉发出的邮件(5.集群停掉发出的邮件(6.任务只有在运行时才可以填相关告警7.海豚配置oracle、sqlser

【云原生 | 从零开始学Kubernetes】三、Kubernetes集群管理工具kubectl

该篇文章已经被专栏《从零开始学k8s》收录kubectl详解概述命令格式常见命令kubectlhelp获取更多信息基础命令部署命令集群管理命令故障和调试命令目前经常使用的命令演示创建一个namespace获取namespace在此namespace下创建并运行一个nginx的Pod查看新创建的pod删除指定的namespace资源管理方式写在最后概述kubectl是Kubernetes集群的命令行工具,通过kubectl能够对集群本身进行管理,并能够在集群上进行容器化应用的安装和部署。命令格式命令格式如下kubectl[command][type][name][flags]参数command:

Docker搭建redis集群

1.使用docker新建6个redis容器实例,在此之前,需要在阿里云服务器和宝塔界面开放安全组(redis客户端连接端口和集群总线端口)redis集群不仅需要开通redis客户端连接的端口(如6381),而且需要开通集群总线端口(16381)。集群总线端口=redis客户端连接的端口+10000dockerrun-d--nameredis-node-1--nethost--privileged=true-v/docker/redis/share/redis-node-1:/dataredis:6.2.6--cluster-enabledyes--appendonlyyes--port6381

公网k8s集群搭建史上超详细的教程!!!

一、背景:1、实验背景🧪在学习k8s搭建中,网上大部分教程都是用虚拟机做单机集群,只有极少数是使用服务器搭建教程;但是用云服务器搭建的教程中教程版本都比较老(随着时间的推移),因为没有详细说明之后更新的版本需要怎么搭建?搭建完后可能会有小白问,为什么k8s搭建需要指定版本的kubeletkebeadmdocker等等环境?如果以后有更新的k8s那又需要怎么找到合适的版本进行搭建,这个是很多网上都没有介绍的。2、准备工作这里准备了三台服务器进行测试110.42.149.60master腾讯云4H8GCentOS7.642.193.254.253node1腾讯云2H4GCentOS7.669.16

ios - 在 objective-c 中创建一个类集群 - 在抽象父类(super class)上调用的方法?

我正在尝试为UITableViewDatasource创建一个类集群。我的界面如下所示:@interfaceArrayDataSource:NSObject-(id)initWithItems:(NSArray*)itemscellIdentifier:(NSString*)cellIdentifierconfigureCellBlock:(TableViewCellConfigureBlock)configurationBlock;-(id)initWith2DArray:(NSArray*)arraysectionIdentifiers:(NSArray*)cellIdentifi

Jmeter集群部署

一、分布式集群原理JMeter分布式执行时,选择其中一台作为调度机(master),其他机器作为执行机(slave);master会在本地编辑好jmx压测脚本,执行时,master将jmx脚本发送至slave上,slaver执行时不需要启动jmeter,只需要把jmeter-sever.bat文件打开以非GUI形式执行;slave执行完毕后将结果回传给master,并由master进行结果的汇总;简单来说能达到的效果也就是:比如我在JMeterjmx脚本中设立的线程数是100,我在本地单机运行就会产生100次请求。如果我有1台master机器,2台slave机器,那么每次会向服务器发送的请求数

Jmeter集群部署

一、分布式集群原理JMeter分布式执行时,选择其中一台作为调度机(master),其他机器作为执行机(slave);master会在本地编辑好jmx压测脚本,执行时,master将jmx脚本发送至slave上,slaver执行时不需要启动jmeter,只需要把jmeter-sever.bat文件打开以非GUI形式执行;slave执行完毕后将结果回传给master,并由master进行结果的汇总;简单来说能达到的效果也就是:比如我在JMeterjmx脚本中设立的线程数是100,我在本地单机运行就会产生100次请求。如果我有1台master机器,2台slave机器,那么每次会向服务器发送的请求数

k8s集群节点磁盘空间不足问题排查之一

k8s集群环境频繁报警出现节点磁盘空间不足,导致POD被驱逐,随机POD。物理机/磁盘空间预留100G。deployment和statufulset都有。持久化挂载的外部ceph。空间都足够大。到物理机上查看磁盘空间。df-lh|greproot确实呈现磁盘占用急剧上升的情况。du-sh*|sort-n时却发现没有目录的空间占用增大。持续约十分钟左右,部分POD被驱逐后空间占用瞬间下降,像是突然释放了大量空间。检查docker日志ls-lh$(find/var/lib/docker/containers/-name*-json.log)|grepG少数几个运行时间长的POD日志占用1G,但也没