草庐IT

使用Feign 的远程调用,把mysql数据导入es

要把数据库数据导入到elasticsearch中,包括下面几步:1)将商品微服务中的分页查询商品接口定义为一个FeignClient,放到feign-api模块中2)搜索服务编写一个测试业务,实现下面功能:调用item-service提供的FeignClient,分页查询商品PageDTO将查询到的商品封装为一个ItemDoc对象,放入ItemDoc集合将ItemDoc集合批量导入elasticsearch中注意:数据库中的商品数量多达9万多个,不可查询索引导入。一定要分页导入。第一步,分页查询item接口对外暴露,在feign-api中定义接口 @FeignClient("itemservi

linux操作es 命令

1.检查ES节点是否正常启动curlhttp://192.168.6.16:9200正常状态:非正常状态:  1>确保服务是不是正常启动了,端口用的是哪个  2>防火墙是否关闭或者端口是否开放  3>你的curl命令是否有问题,curl命令可能导致服务无法访问,可以尝试重启服务后,在外部浏览器访问URL地址即可。不一定非得用curl2.cat检测集群健康状况curlhttp://192.168.6.16:9200/_cat/health?v 绿色表示一切正常,黄色表示所有的数据可用但是部分副本还没有分配,红色表示不可用3.查询es中所有索引,所有已存在的索引curlhttp://192.168

Es批量插入数据报异常Unable to parse response body

org.elasticsearch.ElasticsearchStatusException:Unabletoparseresponsebodyatorg.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:2033)atorg.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1777)atorg.elasticsearch.client.R

ES设置⽤户名和密码

注:Elasticsearch示例版本:7.6.2⼀、单机版1.修改配置需要在配置⽂件中开启x-pack验证,修改config⽬录下⾯的elasticsearch.yml⽂件,在⾥⾯添加如下内容,并重启es.1xpack.security.enabled:true2xpack.license.self_generated.type:basic3xpack.security.transport.ssl.enabled:true2.设置密码进⼊es的安装根⽬录bin下,/usr/local/elasticsearch-7.6.2/bin执⾏设置⽤户名和密码的命令,这⾥需要为4个⽤户分别设置密码,e

【ES实战】ES 插件包离线安装(本地文件)

ES插件包离线安装(本地文件)文章目录ES插件包离线安装(本地文件)使用安装命令安装直接解压式验证安装情况常用的分词插件analysis-ikanalysis-pinyinanalysis-dynamic-synonym在集群的节点上分发插件的ZIP安装包使用安装命令安装bin/elasticsearch-plugin使用合适的用户进行安装,常规rpm安装ES的时候使用的是root,所以用root插件安装,若是tar自定义用户安装,则使用安装ES的具体用户安装查询,原则是安装ES与插件的用户保持一致,保证文件的用户用户组一致。同时可能需要在elasticsearch-env中进行环境变量的配置

E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾

 导语:随着ELK方案在开源日志分析领域越来越流行,各种业务场景也给ELK方案带来了越来越多的挑战。本文将回顾一次真实客户案例,从使用姿势上,提供一些大集群、多日志主题场景下的集群优化思路。一、ELK不香了?  我们客户的ELK已作为其日志分析平台的方案,服役了多年。随着新服务上线、业务增长,集群规模也随之扩大,每次集群扩容都成功使日志平台顶住了业务的压力。最近客户经历的几次高峰期,又按照以往的经验,紧急做了多次扩容,希望能快速解决问题。然而,依旧频繁出现大面积日志积压,甚至还出现日志查询变慢,集群飚红等从未出现过的情况。多次扩容后,ELK方案的月成本增加到了客户难以接受的6位数,然而问题接连

工作纪实36-ES跨集群迁移

1.es数据备份、恢复https://blog.csdn.net/andy_only/article/details/1113191752.reindex命令https://codeleading.com/article/40964498185/添加配置、重启EScdbinshelasticsearch-d3.开源工具https://github.com/elasticsearch-dump/elasticsearch-dump4.logstash[work()@tjtxvm176-239-170config]$cd..[work()@tjtxvm176-239-170logstash-5.6

ES新增字段后,查询索引中不显示这个字段

修改ES结构,新增字段注:为避免修改后该文件结构损坏,修改前先备份1.复制文档POST_reindex{ "source":{ "index":"old_index" }, "dest":{ "index":"new_index" }}2.新增字段(text类型)PUT/old_index/_mapping/_doc?include_type_name=true{ "properties":{ "UP_TEXT":{ "type":"text" } }}3.查询字段是否添加成功PUT/old_index/_search{ "query":{ "match_all":{} }}诶

TS协议之PES(ES数据包)

TS协议之PAT(节目关联表)TS协议之PMT(节目映射表)TS协议之PES(ES数据包)该文档已上传:下载地址1.概要1.1TS数据包(PES)协议数据组成TS=TS头+PES头+ES。TS,PES头是在音视频流传输过程中需要的数据信息,而ES其实就是我们所说的要打包的音视频原始流数据:视频流(H264/H265),音频流:(AAC)。协议:ISO/IEC13818-11.2TS数据包(PES)协议格式​1.3字段解释1.3.1TS1.3.1.1TS头字段字段描述同步字节固定为0x47错误标识通常为0负载起始标识符因为一个TS包规定为188字节,一帧数据可能被分为好多切片,帧数据第一个切片该

springboot集成ES

1.引入pom依赖2.application配置3.JavaBean配置以及ES相关注解3.1Student实体类3.2Teacher实体类3.3Headmaster实体类4.启动类配置5.elasticsearchRestTemplate新增==5.1createIndex&&putMapping创建索引及映射==5.1.1Controller层5.1.2service层5.1.3serviceimpl层createIndex&&putMapping创建索引及映射测试结果:==5.2save添加文档==5.2.1Controller层5.2.2service层5.2.3serviceimpl