草庐IT

给使用docker安装的ES和Kibana设置账号密码

之前的一篇文章写过怎么安装ES、Kibana以及配置ES的中文分词器:使用Docker快速安装部署ES和Kibana并配置IK中文分词器以及自定义分词拓展词库今天来讲一下怎么给使用docker安装的ES和Kibana设置账号密码ES安装后,默认是不开启用户名密码验证的,如果你的ES服务是部署在内网的话,不使用账号密码还不会有太大的安全隐患。但是如果,你的ES服务是暴露在外网环境的话,不设置账号密码肯定是非常不安全的,那如何开启用户名密码验证呢?下面就开始操作一、给ES设置账号密码如果是Docker安装的ES的话,首先需要进入ES容器dockerexec-ites/bin/bash注意:如果你d

ES之数据迁移篇(使用snapshot快照)

1.背景说明:两个ES集群版本:5.6.8旧集群:ER­QI­ES三个节点:192.168.185.70,192.168.185.71,192.168.185.72新集群:gzes­cluster五个节点:10.181.92.184,10.181.92.185,10.181.92.186,10.181.92.187,10.181.92.1882.修改elasticsearch.yml配置文件并重启集群先禁用两个集群的自动分配:在两个集群其中一台上面执行即可:关闭:#curl-XPUThttp://127.0.0.1:9200/_cluster/settings-d'{"transient":{

ES之数据迁移篇(使用snapshot快照)

1.背景说明:两个ES集群版本:5.6.8旧集群:ER­QI­ES三个节点:192.168.185.70,192.168.185.71,192.168.185.72新集群:gzes­cluster五个节点:10.181.92.184,10.181.92.185,10.181.92.186,10.181.92.187,10.181.92.1882.修改elasticsearch.yml配置文件并重启集群先禁用两个集群的自动分配:在两个集群其中一台上面执行即可:关闭:#curl-XPUThttp://127.0.0.1:9200/_cluster/settings-d'{"transient":{

【ES报错】Unable to parse response body for Response{requestLine=PUT /index/_doc...HTTP/1.1 201 Created}

大家好,我是老坛。 今天跟大家交流一个ES常见问题及解决方法。错误发生场景我引入ES的方式是使用的springbootstarter:org.springframework.bootspring-boot-starter-data-elasticsearch然后springboot的版本为:2.3.4.RELEASE贴一下报错来源代码:@SpringBootTest@RunWith(SpringRunner.class)publicclassESTest{@ResourceRestHighLevelClientrestHighLevelClient;Stringindex="index";@T

【ES报错】Unable to parse response body for Response{requestLine=PUT /index/_doc...HTTP/1.1 201 Created}

大家好,我是老坛。 今天跟大家交流一个ES常见问题及解决方法。错误发生场景我引入ES的方式是使用的springbootstarter:org.springframework.bootspring-boot-starter-data-elasticsearch然后springboot的版本为:2.3.4.RELEASE贴一下报错来源代码:@SpringBootTest@RunWith(SpringRunner.class)publicclassESTest{@ResourceRestHighLevelClientrestHighLevelClient;Stringindex="index";@T

ES数据导入

我们学习ES时需要准备一些数据,导入ES数据有很多种方式,这里记录下三种方式,以给大家一个小小的参考:1,Kibana自带的sample数据。2,第三方Json数据;通过Kibnana的Bulkload功能模块,或者命令行的方式导入。3,例如通过各种工具,例如Logstash,Filebeat等;下面我们逐一介绍这几种方式:1,KibanaSample数据。2, 第三方Json数据2.1通过Kibana控制台,导入Json数据文件。 这里需要提前准备好Json格式的数据。导入签的预览:点击左下角的“import”按钮,进行导入操作。指定Indexname: 导入完成后,你可以进行相关的返回操作

ES数据导入

我们学习ES时需要准备一些数据,导入ES数据有很多种方式,这里记录下三种方式,以给大家一个小小的参考:1,Kibana自带的sample数据。2,第三方Json数据;通过Kibnana的Bulkload功能模块,或者命令行的方式导入。3,例如通过各种工具,例如Logstash,Filebeat等;下面我们逐一介绍这几种方式:1,KibanaSample数据。2, 第三方Json数据2.1通过Kibana控制台,导入Json数据文件。 这里需要提前准备好Json格式的数据。导入签的预览:点击左下角的“import”按钮,进行导入操作。指定Indexname: 导入完成后,你可以进行相关的返回操作

ES增量同步方案

1基于业务代码嵌入式的增量同步方式在Java业务代码要修改业务数据的地方,增加调用写入ES数据的方法优点:1、实现方式简单,可控粒度高;2、不依赖第三方数据同步框架;3、数据库不用做特殊配置和部署;缺点:1:所有修改数据的地方都要添加同步ES逻辑,新增接口或者修改代码要同时关注ES的同步逻辑,否则可能导致数据库和ES的数据不一致;2:如果直接提sql修数据,会造成数据库和ES数据不一致;3:要自己处理同步失败的重试问题2基于数据库离线日志的增量同步方式通过监控oracle的redolog日志和在线日志的方式,把日志文件还原成sql,把sql发送到MQ中间件,Java消费MQ数据把数据的变更同步

ES增量同步方案

1基于业务代码嵌入式的增量同步方式在Java业务代码要修改业务数据的地方,增加调用写入ES数据的方法优点:1、实现方式简单,可控粒度高;2、不依赖第三方数据同步框架;3、数据库不用做特殊配置和部署;缺点:1:所有修改数据的地方都要添加同步ES逻辑,新增接口或者修改代码要同时关注ES的同步逻辑,否则可能导致数据库和ES的数据不一致;2:如果直接提sql修数据,会造成数据库和ES数据不一致;3:要自己处理同步失败的重试问题2基于数据库离线日志的增量同步方式通过监控oracle的redolog日志和在线日志的方式,把日志文件还原成sql,把sql发送到MQ中间件,Java消费MQ数据把数据的变更同步

springboot中es的使用与学习

在java中使用es的一些基本操作,干货满满,记得点赞哦!引入与配置我这里不写关于es的部署,如果要看es的部署,请移步~首先在springboot项目的pom文件中引入需要的包!--ES搜索-->dependency>groupId>org.springframework.boot/groupId>artifactId>spring-boot-starter-data-elasticsearch/artifactId>/dependency>!--elasticsearch-->dependency>groupId>org.elasticsearch/groupId>artifactId>e