草庐IT

HA集群

全部标签

【dbeaver】win环境的kerberos认证和Clouders/cdh集群中Kerberos认证使用Dbeaver连接Hive、Impala和Phoenix

一、配置Mitkerberos1.1下载安装MITKERBEROS客户端MITKERBEROS下载较新的版本即可。下载之后一路默认安装即可。注意:不要修改软件安装位置。修改系统环境变量中的Path。将刚刚的安装路径置顶。(不置顶,也要比%JAVA_HOME%\bin和anaconda相关的高)使用CMD命令确认下:1.2修改krb5.conf文件并创建krb5.ini配置文件krb5.conf一般存储在集群的/etc目录下。其中conf文件中仅需要保留一下三大项中的内容即可。如果有此项renew_lifetime=1800d需要删除或注释(行首添加#)[libdefaults]......[r

Oracle篇—单机对外访问的IP变更为rac集群的scan ip

  因业务需要,需要修改现有数据库环境中的scanip。一般多在单机迁移到rac后,应用不想在代码中修改连接数据库的ip,那么原单机的ip在rac中就变成了scanip。  修改为scanip要确保原单机的ip下线,不然会冲突,scanip可以理解为虚拟ip,所以不涉及在硬件网卡上修改。需求:  目前单机对外访问的ip地址为192.168.56.15,当前新搭建的rac集群ip地址为192.168.56.14,将192.168.56.15变更为rac集群的scanip,并且为新的scanip设置新域名。任意节点的grid用户上执行:[grid@rac1~]$srvctlstopscan_lis

集群 CPU 利用率均值达 45% ,揭秘小红书规模化混部技术实践

根据Gartner预测数据显示:2024年全球IT支出预计将达到5.1万亿美元,比2023年增长8%。然而,该机构的另一项调查数据显示:全球数据中心服务器平均CPU利用率普遍低于20%,存在巨大的资源浪费。据测算,以数百万核CPU规模的数据中心为例,每提升1个百分点的整体资源利用率,每年将节省数千万元的成本。由此可见,提高资源利用率对于降低企业运营成本具有显著的效果。早在2015年,谷歌就在其经典论文《Large-scaleclustermanagementatGooglewithBorg》中披露了它在资源管理和调度方面的实践经验,是最早通过混部技术来提升资源利用率的公司之一。国内多家头部互联

【业务功能115】微服务-springcloud-springboot-Kubernetes-k8s集群-Kubesphere实现DevOps流水线-CI/CD-SonarQube- Jenkins

基于Kubesphere实现DevOps一、DevOps介绍1.1项目开发需要考虑的维度dev怎么开发ops怎么运维参考项目链接:https://github.com/kubesphere/devops-maven-sample1.2DevOps是什么二、CI/CD介绍2.1持续集成(ContinuousIntegration)持续集成是指软件个人的部分向软件整体部分交付,频繁进行集成以便更快地发现其中错误。CI需要具备这些:全面的自动化测试这是实践持续集成&持续部署的基础,同时,选择合适的自动化测试工具也很重要灵活的基础设施容器、虚拟机的存在让开发人员和QA人员不必再大费周张去做IT基础设施

【zookeeper特点和集群架构】

文章目录1.Zookeeper介绍2、ZooKeeper数据结构3、Zookeeper集群架构1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决分布式集群中应用系统的一致性问题。Zookeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。官方:https://zookeeper.apache.org/ZooKeeper本质上是一个分布式的小文件存储系统(Zookeeper=文件系统+监听机制)。提供基于类似于文件系统的目录树方式的数据存储

云原生周刊:2024 扩展 K8s 集群指南 | 2024.1.2

开源项目推荐JibJib无需Docker守护进程,也无需深入掌握Docker最佳实践,即可为您的Java应用程序构建优化的Docker和OCI映像。它可作为Maven和Gradle的插件以及Java库使用。DocketeerDocketeer提供了一个简单的界面来管理Docker资源并可视化主机和容器指标数据以及Kubernetes集群数据。Docketeer是一个容器化应用程序,可以轻松地与应用程序集群一起部署。HelmifyHelmify是一个CLI工具,用于从Kubernetes配置文件生成Helmcharts。它可以将支持的Kubernetes对象转换为Helmchart,并提供了多种

hadoop集群启动后datanode没有启动

今天启动hadoop集群后,查看进程发现名称节点的NameNode进程启动了,但是数据节点的DataNode进程没有启动,如下:这个问题是个常见问题,对于自学的初学者来说,真的是个很头大的问题,一时不知道该怎么弄,我就是其中一个。但遇到问题不要慌,认真看错并查找解决办法。hadoop102: #jps27585Jps26874ResourceManager26622NameNodehadoop103:25276NodeManager25581Jpshadoop104:25988Jps25792SecondaryNameNode25862NodeManager原因为多次格式化namenode导致

ES集群状态检查报错:master_not_discovered_exception 503错误

一、故障描述在完成ES集群部署,启动后,执行ES集群状态检查发现,集群报错503错误,如下所示:环境:Elasticsearch7.0.1;JDK版本1.8.0_211二、处理过程1、修改elasticsearch.yml将cluster初始化节点,三个都全写上。修改cluster.initial_master_nodes:[“Namenode”,“Datanode2”]为cluster.initial_master_nodes:[“Namenode”,“Datanode2”,“Datanode1”]#Bootstraptheclusterusinganinitialsetofmaster-e

大数据平台/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper

实验名称部署ZooKeeper集群和实战ZooKeeper实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.11.04-2023.11.05实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1. 理解ZooKeeper的系统模型,包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解ZooKeeper的工作原理,包括集群架构、Leader选举机制。3.熟练掌握ZooKeeper集群的部署和运行。4.掌握ZooKeeper四字命令的使用。5.熟练掌握ZooKeeperShell常用命

云原生周刊:2024 扩展 K8s 集群指南 | 2024.1.2

开源项目推荐JibJib无需Docker守护进程,也无需深入掌握Docker最佳实践,即可为您的Java应用程序构建优化的Docker和OCI映像。它可作为Maven和Gradle的插件以及Java库使用。DocketeerDocketeer提供了一个简单的界面来管理Docker资源并可视化主机和容器指标数据以及Kubernetes集群数据。Docketeer是一个容器化应用程序,可以轻松地与应用程序集群一起部署。HelmifyHelmify是一个CLI工具,用于从Kubernetes配置文件生成Helmcharts。它可以将支持的Kubernetes对象转换为Helmchart,并提供了多种