作者本人搬运篇，原文发布于infoq👉：https://xie.infoq.cn/article/809dd91a0ec9d6e23c3db67dc之前分别写过关于使用ES来做日志统一管理，以及在CentOS上部署Redis哨兵集群的博客，今儿的话题还是要围绕他们，这次是CentOS和ELK的交集。之前我们的ES日志集群是在Windows系统下运行的，这两天上头给批了两台CentOS的主机，就把日志的集群迁移到了CentOS服务器上。迁移的过程总体还是比较顺利，但过程中还是遇到了一些问题，或者说我个人感觉应该要记录一下的东西，在这里简单总结一下。一、Elasticsearch版本选择官方的建议
一、ElasticSearch集群1.1搭建集群Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无法获取集群中的节点信息。由于，我们使用只有一台虚拟机，所以我们在虚拟机中安装三个ES实例，搭建伪集群，而ES启动比较耗内存，所以先设置虚拟机的内存3G和CPU个数4个1.1.1整体步骤步骤如下：拷贝opt目录下的elasticsearch-7.4.0安装包3个，分别命
配置一个FE+三个BE的集群，使用版本1.1.5。概要下载FE和BE包准备FE和BE环境配置FE配置BE在FE中添加BE开始使用doris一、下载FE和BE包从官方下载已经编译好的包：doris下载1.1doris官方下载二、准备FE和BE环境配置FE和BE的目录结构；把第一步的压缩包解压后放在对应的FE和BE；运行命令：host>mkdirdockerhost>mvapache-doris-fe-1.1.5-bindocker/doris/fehost>mvapache-doris-be-1.1.5-bin-x86_64docker/doris/be-01host>mvapache-dori
Helm安装MySQL集群(较为常用)Helm简介Helm是一个Kubernetes应用的包管理工具，类似于Ubuntu的APT和CentOS中的YUM。Helm使用chart来封装kubernetes应用的YAML文件，我们只需要设置自己的参数，就可以实现自动化的快速部署应用。三大概念Chart代表着Helm包。它包含运行应用程序需要的所有资源定义和依赖，相当于模版。类似于maven中的pom.xml、Apt中的dpkb或Yum中的RPM。Repository（仓库）用来存放和共享charts。不用的应用放在不同的仓库中。Release是运行chart的实例。一个chart通常可以在同一个集
大数据平台不仅需要稳定地运行生产任务，还需要提供数据开发的能力。因此，不少大数据平台都会为每个任务区分开发模式与线上模式，可以通过提交上线的方式，将开发模式任务提交到线上，让其用于线上数据生产工作。 开发模式与线上模式其实可以看成两个代码相似，但完全独立的任务，为了便于后续描述，将其分别称为开发模式任务与线上模式任务。 开发模式下的任务可以进行编辑、运行、调试。当任务开发完毕后，通过提交上线功能，将开发模式的任务提交到线上，也即使用开发模式的任务代码覆盖原本的线上模式任务代码。线上模式下的任务是用于生产的，因此该模式下的任务不可以编辑、调试，但可以配
一、Elasticsearch节点类型1、masternode节点整个集群的管理者、索引管理、分片管理，以及整个集群的状态的管理，master节点是从master候选节点中选出的，成为master候选节点的方式：node.master:true默认（true）datanode：数据节点，存储主要数据，负责索引的数据的检索和聚合等操作，设置datanode的方式如下：node.master:truenode.data:false2、datanode节点该节点和应用创建连接、接收索引请求，会存储分配在该node上的shard的数据并负责这些shard的写入、查询等，ES集群的性能取决于该节点的个数
通过puppet来部署bigtop的大数据组件是可行的，我就一步步地教大家如何生产部署前开发测试，测试无误后，如何生产部署。本文是开发测试篇。主要用docker来模拟集群环境，测试无误后，才能上正式的机器。生产部署将用rundeck来操作管理。开发bigtop的部署主要是写yaml配置文件，必要时候需要一点点puppet代码。通过docker模拟节点，并且部署集群。首先我们需要一个模板代码，GitHub-vivostar/queen:productiondeploybigtopcomponents模板项目通过分支来部署其相对应的功能。各个分支的功能介绍主要如下所示，master分支部署azka
文章目录参考文章：硬件要求可省略的步骤配置虚拟机ip设置阿里镜像源各服务器初始化配置配置主节点的主机名称配置从节点的主机名称配置各节点的Host文件关闭各节点的防火墙关闭selinux永久禁用各节点的交换分区同步各节点的时间将桥接的IPv4流量传递到iptables的链（三台都执行）在所有节点安装docker在所有节点安装容器运行时cri-dockerd在所有节点安装kubenetes相关组件重启虚拟机（必要）在master节点安装部署k8smaster查看国内镜像所有master节点拉取k8s镜像初始化master节点（仅在master节点执行）kubeadmreset在集群中加入node节
📢📢📢📣📣📣哈喽！大家好，我是【Bug终结者】，【CSDNJava领域优质创作者】🏆，阿里云受邀专家博主🏆，51CTO人气博主🏆.一位上进心十足，拥有极强学习力的【Java领域博主】😜😜😜🏅【Bug终结者】博客的领域是【面向后端技术】的学习，未来会持续更新更多的【后端技术】以及【学习心得】。偶尔会分享些前端基础知识，会更新实战项目，面向企业级开发应用！🏅如果有对【后端技术】、【前端领域】感兴趣的【小可爱】，欢迎关注【Bug终结者】💞💞💞❤️❤️❤️感谢各位大可爱小可爱！❤️❤️❤️文章目录一、什么是DockerSwarm？二、DockerSwarm和k8s的区别三、购买4台阿里云服务器四、Do
我搭建的Spark集群的版本是2.4.4。在网上找的maven依赖，链接忘记保存了。。。。properties>project.build.sourceEncoding>UTF-8/project.build.sourceEncoding>maven.compiler.source>1.8/maven.compiler.source>maven.compiler.target>1.8/maven.compiler.target>hadoop.version>2.6.0-cdh5.14.2/hadoop.version>hive.version>1.1.0-cdh5.14.2/hive.vers
