文章目录下载chartselasticsearch部署Kibana文件改动由于之前使用helm部署EFK，感觉在过程上有些麻。因此我在helm-charts的7.16分支上写了一个job，使得用户名密码及ssl证书可以自动生成并在k8s里创建secret。所以部署时ssl是默认开启的。helm-charts:7.16分支的改动纯属个人兴趣，仅作参考。官方elastic/helm-charts在最新的改动中也实现了自动生成证书的功能。下载charts$gitclonehttps://github.com/cloudenmin/helm-charts.git$gitcheckout7.16elas
导航 在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后，个人认为有必要将过程记录分享。限于篇幅及便于分类组织，我会以一个系列文章的形式记录：01《ElasticsearchvsClickhouse》02《Clickhouse的基础知识扫盲》03《Clickhouse多分片多副本集群部署》04《Clickhouse表引擎选择和表结构设计》05《clickhouse高效数据处理工具vector》06《clickhouse的数据可视化工具clickvisual》07《kibana自定义插件跳转clickvis
shigen坚持更新文章的博客写手，擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长，分享认知，留住感动。mysql-es-synchronizer项目介绍mysql-es-synchronizer，一款开源的轻量级MySQL数据增量同步到elasticsearch工具，只需简单的配置即可实现增量的数据同步。配置文件MySQL和elasticsearch的配置基本和官方的spring-boot-starter-xxx的配置类似spring:#MySQL数据库连接信息datasource:url:jdbc:mysql://shigen.com:3306
前提您已购置vps服务器，例如阿里云全球站ecs、AWSEC2、AzureVM、GCPCompute等安全组已开启80、443端口，且访问源设置为0.0.0.0/0域名已设置A记录指向当前操作服务器，若您使用awsec2，有公有IPv4DNS，可供使用安装Acme.sh并申请证书Step-By-StepUbuntu—EasyWaycat>>install-CA.shEOF#!/bin/bashrm-rf/etc/nginx/cert/&&mkdir/etc/nginx/cert/read-p"Enteryourdomain:"domainrootDomain=\`echo$domain|cut
自签名证书：就是指的根证书，就是颁发者：和颁发给：是相同的。证书的签名是用证书里的公钥对应的私钥进行的签名。这样的证书除非是受信任的颁布机构颁发f，一般是不被第三方信任。一般用于内部使用及测试使用。下面介绍生成证书的方法：1.生成私钥要创建SSL证书，需要私钥和证书签名请求（CSR）。您可以使用一些生成工具或向CA申请生成私钥，私钥是使用RSA和ECC等算法生成的加密密钥。生成RSA私钥的代码示例：opensslgenrsa-des3-outserver.key2048，随后该命令会提示您输入口令。生成的server.key为加密私钥文件，私钥就保存在这个文件内，一般文件内的私钥已被加密，只有
在日常的接口交互中，数据的安全性是优先考虑的问题之一。那么一般我们在实际工作中如何去保证数据的安全呢？一般是通过数据加密的方式来处理。加密算法，如果按是否可以把密文还原成明文来划分的话，可以分为可逆加密和不可逆加密。一、基础概念1、密钥密钥是一段二进制的字符串，其度量单位是位(bit)。对于密钥长度为256的话，就是指32个字节长度的密钥。2、身份验证在非对称加密模式下，使用私钥进行加密，对方用公钥进行解密，接收方如果能把信息成功解密出来，即可确定信息的来源方是私钥拥有者，达到身份验证的效果。3、信息的完整性信息完整性是指接收方收到的信息没有被篡改过。二、可逆加密在可逆加密分为对称加密和非对称
包含当前es所有的查询，需要什么代码直接照搬，改个参数就行！用的好请务必给我点赞！！！感谢爱你们！！！为啥写这篇文章呢：大概是因为目前公司用的api跟以前的不太一样，以前我们是基于高标准客户端直接做的，但是目前这边同事是基于ElasticsearchRestTemplate跟NativeSearchQuery做的。importlombok.extern.slf4j.Slf4j;importorg.elasticsearch.common.lucene.search.function.CombineFunction;importorg.elasticsearch.index.query.Bool
目录首先说一下自己对ES性能的认识措施一：调大内存，缓存越大越好措施二：缩容，缩小index索引措施三：冷热分离措施四：数据预热措施五：索引模型优化措施六：查询优化首先说一下自己对ES性能的认识首先可以说明一下自己的使用经验：ES性能并没有想象中那么好的。下面是一个权威数据，腾讯云的ES集群性能数据：3个节点性能测试，吞吐量中位数50qps。ES集群吞吐量的测试数据所以，很多时候ES数据量大了，特别是有几亿条数据的时候，实际上性能很差。在2017、2018年左右，维护一个30个节点的集群架构，亿级文档。 数据规模大概1亿doc，1TB的容量。在那个集群上，有的慢搜索，最长rt在5-10s。你可
一、问题现象服务现象服务接口的TP99性能降低ES现象YGC：耗时极其不正常,峰值200+次，耗时7s+FULLGC：不正常,次数为1但是频繁，STW5s慢查询：存在慢查询5+二解决过程1、去除干扰因素从现象上看应用是由于某种原因导致JVM内存使用率不断增长，触发了频繁的YGC进而触发FGC（此时只是大胆的猜测）。此时ES的JVM配置是JVM内存40G，使用CMS垃圾回收器。40G的内存使用CMS垃圾回收器性能显然不如G1更合适找ES运维同学垃圾回收器由CMS修改为G1（tips:不是所有的ES都适合G1,针对很多大查询的G1的FullGC会导致GC模式退化为串行扫描整个堆，导致几十秒甚至是分
Mac系统使用Docker下载搭建和验证es+kibanaDocker下载安装es安装es验证kibana安装kibana验证Docker下载安装DockerDesktop官网安装下载地址说明一下为什么要安装desktop版本的docker，因为docker作为工具使用，我们需要的是开箱即用，没有必要非得整那种dockerserver什么的手动进行安装，一大堆配置很麻烦，这个desktop很适合新手使用，查看管理镜像和容器非常方便下载完之后打开docker.dmg文件，将docker的图标拖动至application打开application中的docker程序，不知道怎么打开的，快捷键com
