1 环境说明注意：以下所有操作都在root用户下完成 sudosu -rootip操作系统版本用途192.168.30.18Ubuntu18.04.4LTSjobmanager容器、nfs服务(存储flink的checkpoint、savepoint)192.168.30.17Ubuntu18.04.4LTStaskmanager02容器192.168.30.16Ubuntu18.04.4LTStaskmanager01容器2 部署nfs在192.168.30.18节点上操作2.1安装nfs软件包#apt-getinstallrpcbind-y#apt-getinstallnfs-kernel
hadoop集群搭建更改主机名关闭防火墙映射设置免密同步时间创建工作目录下载jdk安装配置Hadoop修改配置文件向其他节点分发配置完成的程序为Hadoop添加环境变量启动集群初始化启动集群web页面web页面:[hdfsweb页面](http://192.168.88.128:9870/)web页面:[yarnweb页面](http://192.168.88.128:8088/)更改主机名三台虚拟机都要更改#在node1的节点输入hostnamectlset-hostnamenode1.itcast.cn#在node2的节点输入hostnamectlset-hostnamenode2.itc
大数据技术之集群数据迁移一、Hadoop集群数据迁移1.迁移之前需要考虑的问题迁移总数据量有多少？新老集群之间的带宽有多少？能否全部用完？为了减少对线上其他业务的影响最多可使用多少带宽？如何限制迁移过程中使用的带宽？迁移过程中，哪些文件可能发生删除，新增数据的情况？新数据和旧数据怎么处理？哪些目录可能会发生新增文件的情况？迁移后的数据一致性校验怎么做？迁移后的HDFS文件权限如何跟老集群保持一致？2.迁移方案1、迁移数据量评估通过hdfs dfs -du -h / 命令查看各目录总数据量。按业务划分，统计各业务数据总量。2、制定迁移节奏由于数据量大，带宽有限，HDFS中的文件每天随业务不断变化
文章目录1.常见的K8S安装部署方式1.1Minikube1.2Kubeadm1.3二进制安装部署2.Kubernetes单master集群架构----（二进制安装部署）2.1前置准备2.2操作系统初始化2.3部署docker引擎----（所有node节点）2.4部署etcd集群2.4.1etcd的特点2.4.2准备签发证书环境2.4.3在master01节点上操作2.4.4在node01节点上操作2.4.5在node02节点上操作2.5部署Master组件2.5.1在master01节点上操作2.6部署WorkerNode组件2.6.1在所有node节点上操作2.6.1.1node01节点部
博客主页：https://tomcat.blog.csdn.net博主昵称：农民工老王主要领域：Java、Linux、K8S期待大家的关注💖点赞👍收藏⭐留言💬目录1计算机准备2安装前准备3部署rancher4配置rancher5创建k8s集群6rancer2.6的更新点rancher2.6已经发布一段时间，与2.5还是有不少变动，而且目前只有英语文档。为了方便大家顺利使用，在此演示下rancher2.6部署k8s集群。本文是如何通过rancher部署k8s集群这篇博客的升级版本，该文介绍了rancher2.5部署k8s集群的流程。大家可以对比阅读。1计算机准备本次部署准备了五台机器，如下表所示
目录一、Spark环境搭建-Local1.1服务器环境 1.2基本原理 1.2.1 Local下的角色分布1.3搭建 1.3.1安装Anaconda 1.3.1.1添加国内阿里源 1.3.2创建pyspark环境 1.3.3安装spark1.3.4添加环境变量 1.3.5启动spark 1.3.5.1bin/pyspark 1.3.5.2 WEBUI(4040)1.3.5.3 spark-shell 1.3.5.4 bin/spark-submit1.3.6 pyspark/spark-shell/spark-submit对比二、Spark环境搭建-Standalone2.1 Standalo
文章目录一、环境准备二、安装步骤1.解压软件2.创建用户3.修改配置文件3.1vim/opt/module/es/config/elasticsearch.yml3.2在/etc/security/limits.conf尾部添加3.3在/etc/security/limits.d/20-nproc.conf尾部添加3.4在改/etc/sysctl.conf尾部添加3.5重新加载4.启动集群5.测试集群6.安装IK分词器一、环境准备1.机器,依此配置hostIP主机名角色192.168.10.135fileOS1master&node192.168.10.136fileOS2node192.16
前提条件您已经拥有一个Kubernetes集群，并且可以访问该集群。您已经安装了kubectl命令行工具。版本选择安装前需要选择兼容你Kubernetes的版本，不能会失败。ingress由两部分组成：IngressController：负责处理Ingress请求，并将请求转发到正确的服务。Ingress资源对象：定义Ingress规则，包括路由规则、负载均衡、SSL/TLS保护等。以下就是具体的安装步骤：安装IngressControllerIngressController是负责处理Ingress请求的组件。Kubernetes提供了多种IngressController，您可以根据需要选
1.Redis集群简介1.1什么是Redis集群Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。根据搭建的方式和集群的特性，Redis集群主要有三种模式：主从复制模式（Master-Slave）、哨兵模式（Sentinel）和Cluster模式。1.2Redis集群的作用和优势高可用性：Redis集群可以在某个节点发生故障时，自动进行故障转移，保证服务的持续可用。负载均衡：Redis集群可以将客户端请求分发到不同的节点上，有效地分摊节点的压力，提高系统的整体性能。容灾恢复：通过主从复
