草庐IT

集群NoSQL

全部标签

【云原生】Kubeadmin安装k8s集群

目录前言:一环境部署1.1服务器部署功能1.2环境准备(所有节点)二安装docker(所有节点)三所有节点安装kubeadm,kubelet和kubectl3.1 定义kubernetes源3.2 开机自启kubelet四 部署K8S集群4.1 查看初始化需要的镜像4.2master节点上传压缩包4.3 复制镜像和脚本到node节点4.4初始化kubeadm 4.5证书生成结果4.6设定kubectl(Master节点)五所有节点部署网络插件flannel5.1部署flannel5.2 在master节点查看节点状态5.3 测试pod资源创建 5.4 暴露端口提供服务  六  部署Dashbo

mysql - 在 Ubuntu 上启动 mysql 集群管理节点 (ndb_mgmd) 时出错

我在初始启动mysql-cluster管理节点时遇到问题,如果我能就此问题获得任何帮助,我将不胜感激。请参阅下面我的两个失败示例,然后是我的config.ini文件。第一个示例显示启动守护程序的基本命令及其产生的错误。第二次尝试跳过我认为在第一个过程中导致错误的过程,但只会导致另一个错误(我找不到解决方案)。~$ndb_mgmd-f/var/lib/mysql-cluster/config.iniMySQLClusterManagementServermysql-5.5.25ndb-7.2.72012-07-2716:44:51[MgmtSrvr]INFO--Thedefaultcon

hadoop集群搭建及编程实践

Hadoop集群搭建前期准备及JDK,hadoop安装设置主机名和添加主机映射验证连通性SSH无密码登录配置集群/分布式环境修改workers修改文件core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml分发到其他结点格式化namenode执行分布式实例javaAPI与HDFS的编程导入Maven依赖上传本地文件到HDFS文件系统,将HDFS文件系统中的文件下载到本地并压缩根据HDFS文件系统查看学生是否提交作业实现HDFS文件系统指定文件夹内的文件词频统计(手搓)1.前期准备及JDK,hadoop安装1.1JDK的下载地址,h

MySQL 还是 NoSQL?处理大量数据的推荐方法

我有一个数据库,大量用户将使用该数据库来存储随机长字符串(最多100个字符)。表格列将是:userid、stringid和实际的长字符串。所以它看起来很像这样:Userid对于每个用户都是唯一的,stringid也是唯一的。该应用程序就像一个简单的待办事项列表应用程序,因此每个用户平均有50个待办事项。我使用stringid是为了让用户能够在任何给定时间删除特定任务。我认为这个待办事项应用程序可能会在3年内完成700万个任务,这让我不敢使用MySQL。所以我的问题是这是处理大量数据的实际推荐方式长字符串(每个新任务都有一个新行)?并且MySQL是适合为此类项目选择的数据库解决方案吗?我

Elasticsearch集群搭建与相关知识点整理

前言:大家好,我是小威,24届毕业生,在一家满意的公司实习。本篇文章参考网上的课程,介绍Elasticsearch集群的搭建,以及Elasticsearch集群相关知识点整理。如果文章有什么需要改进的地方还请大佬不吝赐教👏👏。小威在此先感谢各位大佬啦~~🤞🤞🏠个人主页:小威要向诸佬学习呀🧑个人简介:大家好,我是小威,一个想要与大家共同进步的男人😉😉目前状况🎉:24届毕业生,在一家满意的公司实习👏👏💕欢迎大家:这里是CSDN,我总结知识的地方,欢迎来到我的博客,我亲爱的大佬😘以下正文开始文章目录Elasticsearch部署集群Elasticsearch集群职责Elasticsearch集群健康

安装kubernetes高可用集群(v1.26)

kubernetes的master是需要配置高可用集群的,当一台master出问题了之后另外一台master仍然是可以继续工作的。比如下图不管是worker还是client,只要把请求发送到LB负载均衡器,然后LB会把请求在master1和master2之间进行转发。这里只要有一个master能够正常工作,整个kubernetes集群就会正常工作。master1和master2需要实时同步数据,利用的是etcd集群的数据同步,在kubernetes官网提供了两种etcd同步的方案,一个是使用内部etcd集群,一个是使用的外部etcd集群。下面分别来演示这两种实验步骤。方法1:使用内部etcd集

K8S集群NotReady问题处理

问题场景:K8Smaster节点安装完kube-flannel之后(加粗是重点)执行kubectlgetnodes命令看到master状态依旧是NotReadyK8Snode节点kubeadmjoin命令后,已成功添加到集群,但是执行kubectlgetnodes命令看到node状态依旧是NotReady图片展示的是node节点的NotReady状态,master节点最开始也是这个状态,我已经解决过了,无论master节点还是node节点,都可以试下这个方法核对问题症状:执行journalctl-f-ukubelet命令报错:NetworkReady=falsereason:NetworkPl

Hadoop集群安装组件版本对应关系

hbase和Hadoop之间版本对应关系图片来源参考官网:http://hbase.apache.org/book.html#hadoophive和hadoop、hive和spark之间版本对应关系版本信息来自于hive源码包src.tar.gz的pom.xml:hive-3.1.23.1.02.0.0-alpha42.3.02.112.11.83.4.6hive-2.3.62.7.21.1.12.0.02.112.11.83.4.6HiveVersionSparkVersion3.0.x2.3.02.3.x2.0.02.2.x1.6.02.1.x1.6.02.0.x1.5.01.2.x1.3

服务器集群与PBS任务管理系统的常用命令

天河二号超级计算机1.服务器集群服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器,集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。集群是一组独立的计算机(节点)的集合体,节点间通过高性能的互连网络连接;各节点除了可以作为一个单一的计算资源供交互式用户使用外,还可以协同工作并表现为一个单一的、集中的计算资源供并行计算任务使用。1.1.集群系统基本信息集群配制的刀片计算节点的CPU,GPU配制情况系统配备的并行文件系统,各组刀片机之间的网络连接系统配制的登陆管理节点,部署的集

【云计算】Hadoop集群安装

文章目录前言一、环境二、安装虚拟机及配置配置网络三、安装Ubuntu及配置下载ISO镜像VMware安装UbuntuUbuntu配置:配置结果IP免密登录JAVA安装hadoop安装:文件的作用core-site.xml:core-site.xmlyarn-site.xmlmapred-site.xml修改配置:core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.shworkershdfs初始化:启动Hadoop脚本启动:命令方式启动:启动如果出现卷只有一个master:测试:总结前言Hadoop是一种开源框架,可用