本篇文章继续给大家介绍ELFK日志分析的有关内容，我们的ES和Kibana都介绍的差不多了，所以本篇文章重点介绍Logstash的有关内容，介绍完毕后，我们的ELFK架构将初步形成，此外还有ES读写文档的原理，了解原理，更深层次的理解，使用ES，集群角色和master节点与数据节点分离，当我们的数据量较大的时候会用到此操作，Logstash的部署与操作，实现数据的采集与输出。ES读写文档原理在创建分片底层对应的是一个Lucene库，而Lucene底层使用倒排索引技术实现，那么什么是倒排索引。我们先说下什么是正排索引（正向索引），我们以MySQL为例，用id字段储存博客文章的编号，用contex
------------------------------部署CNI网络组件----------------------------------------部署flannel----------K8S中Pod网络通信：●Pod内容器与容器之间的通信在同一个Pod内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命名空间，相当于它们在同一台机器上一样，可以用localhost地址访问彼此的端口。●同一个Node内Pod之间的通信每个Pod都有一个真实的全局IP地址，同一个Node内的不同Pod之间可以直接采用对方Pod的IP地址进行通信，Pod1与Pod2都是通过Veth连接到同一个do
目录一.Spark简介：二.ApacheSpark特点： 三.集群架构：3.1术语释义：3.2集群架构执行过程：3.3集群核心组件： 3.3.1Driver：3.3.2Executor：3.3.3Master&Worker：3.3.4ApplicationMaster：四.Spark核心组件：4.1SparkCore4.2SparkSQL4.3SparkStreaming4.4 SparkMLlib4.5SparkGraphX五.核心概念：5.1Executor与Core 5.2并行度：5.3有向无环图（DAG） 5.4提交过程5.5YarnClient模式5.6YarnCluster模式一.
我是新来的，所以欢迎任何反馈。我正在尝试使用DefaultClusterRenderer来显示一些自定义聚类，并且我试图让它在map完全放大时不聚类。所以我找到了完全相同问题的答案:DisableclusteringatmaxzoomlevelwithGooglesandroid-maps-utils所以我尝试了该代码，但遇到了Notonthemainthread错误。任何帮助将不胜感激。我的构造函数中有这个publicEspecieRenderer(Contextcontext,GoogleMapmap,ClusterManagerclusterManager){super(cont
我们在上面：VM部署CentOS并且设置网络 部署好了服务器。接下来需要准备三个服务器分别为master节点：master 192.168.171.7node节点：node1 192.168.171.6node节点：node2 192.168.171.4此步骤需要启动三台虚拟机，并且使用xshell进行连接使用执行多个的命令来在每个服务器同步执行相同的命令一：部署前准备（三台服务器都操作）检查操作系统的版本#此方式安装kubernetes集群要求Centos版本要在7.5或以上cat/etc/redhat-release#CentOSLinuxrelease7.9.2009(Core)
1.kafka概述1.1kafka的前世今生kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是，LinkedIn虽然有了数据库和其他系统可以用来存储数据，但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上，开发者不想只是开发一个能够存储数据的系统，如关系数据库、Nosql数据库、搜索引擎等等，更希望把数据看成一个持续变化和不断增长的流，并基于这样的想法构建出一个数据系统，一个数据架构。Kafka外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。Kafka可以按照要求存储数据
Docker搭建Redis集群一搭建Redis集群的优点先说说单个redis的缺点：1、单个redis具有不稳定性。当redis服务死机了或者redis服务被kill掉了，就没有可用的redis服务了。2、单个redis的读写能力是有限的。再根据单个redis服务的缺点谈谈redis集群的优点：搭建redis集群一般都基于redis主从复制，即有一到多台Master服务、一到多台Slave服务。当redis服务死机了或者redis服务被kill掉了，Slave服务就会顶替原来的Master服务继续照常运行，并且数据不会丢失。因为redis集群使得redis服务变多了，所以也提高了redis的读
#所需安装包下载路径(1)mysqlrpm包路径：https://downloads.mysql.com/archives/community/connect路径：https://downloads.mysql.com/archives/c-j/(2)hivehttps://mirrors.huaweicloud.com/apache/hive/hive-3.1.3/(3)sparkhttps://mirrors.huaweicloud.com/apache/spark/spark-2.3.0/1.mysql安装部署1.1安装包下载 1.1.1所需下载的rpm包 1.1.2所需驱动包下载1.2
哈喽大家好，我是咸鱼最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了T﹏T刚好最近在学Kafka，于是决定写篇跟Kafka相关的文章（文中有不对的地方欢迎大家指出）考虑到有些小伙伴可能是第一次接触Kafka，所以先简单介绍一下什么是Kafka吧！Kafka介绍Kafka是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】还能够把消息持久化到磁盘上，用于批量消费。除此之外由于Kafka被设计成分布式系统，吞吐量和可用性大大提高Kafka角色kafka客户端生产者（producer）：也
好玩的ES--第四篇之聚合查询和集群聚合查询简介测试数据使用根据某个字段分组求最大值求最小值求平均值求和整合应用集群集群Cluster相关概念集群节点索引映射文档分片复制搭建集群集群规划配置文件编写compose文件kibana配置文件查看集群状态安装head插件聚合查询简介聚合：英文为Aggregation，是es除搜索功能外提供的针对es数据做统计分析的功能。聚合有助于根据搜索查询提供聚合数据。聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。它基于查询条件来对数据进行分桶、计算的方法。有点类似于SQL中的groupby再加一些函数方法的操作。注意事
