草庐IT

es的配置文件(elasticsearch.yml)

config目录下有2个配置文件:es的配置文件(elasticsearch.yml)和日志配置文件(logging.yml)cluster.name:elasticsearch配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。node.name:“FranzKafka”节点名,默认随机指定一个name列表中名字,该列表在es的jar包中config文件夹里name.txt文件中,其中有很多作者添加的有趣名字。node.master:true指定该节点是否有资格被选举成为node,默认是true

ES 7.7.0 数据迁移

本文使用elasticdump做数据迁移,支持在线和离线俩种方式,适用于数据量比较小的情况。1、Node安装由于elasticdump依赖于node,首先需要安装下node。1.1、Linux安装$wgethttps://nodejs.org/dist/v10.15.0/node-v10.15.0-linux-x64.tar.xz$tar-xfnode-v10.15.0-linux-x64.tar.xz#配置相关的环境变量$vim/etc/profile>PATH=$PATH:/software/node-v10.15.0-linux-x64/bin$source/etc/profile1.2

项目总结之 ES 学习

酒旅项目之ES搜索背景​最近一个多月跟着师哥和同学们一起做了一个酒旅项目,这个项目是依托微信小程序提供线上预定酒店和旅游的互联网产品。希望解决的用户的痛点如下:提高用户搜索酒店和预定酒店的效率售后功能保障了用户的合法权益基于数据分析提供用户多需求场景组合产品以下是项目架构图:流程首先经历了熟悉产品和产品流程梳理然后进行项目代码熟悉和数据库设计接下来进行了接口设计和任务分工编写各自功能模块代码,最后交由师哥验收ES​在任务分工中,我被分配到了编写基于Elasticsearch实现酒店列表的搜索功能。期望根据不同的查询条件实现酒店列表的快速搜索展示,由于之前没有使用过Elasticsearch整合

Elastic: canal数据同步到ES配置常见报错

0.引言所有报错均为博主在实操过程中遇到的错误和解决办法,如果有其他报错或者不同的解决办法,请留言告诉我安装canal过程中遇到问题,先在本文中查询是否有相同报错,将会为你节约大量排错时间环境jdk1.8canal1.1.5mysql8.0es7.13.01.Unknownsystemvariable‘query_cache_size’这是因为mysql驱动包的版本过低导致的,querycache在MySQL5.7.20就已经过时了,而在MySQL8.0之后就已经被移除了1、只需要将lib中的驱动器替换成mysql-connector-java-8.0.22.jar2、修改驱动器权限chmod

Jmeter之es压测---从部署环境开始

目录一、安装jdk(已安装可跳过)二、部署es(已安装可跳过)三、使用Jmeter编写es脚本四、遇到的问题前景:因为要用Jmeter调es做一些操作,但是还没有环境,就自己搭了一个,所以就从部署基础环境开始吧。一、安装jdk(已安装可跳过)以下操作我这里都是用root操作的jdk1.8下载地址1、创建一个目录文件夹(用来放置jdk)mkdirxxx&mkdir-p/xxx/java2、解压jdktar-zxvfjdk-8u301-linux-x64.tar.gz3、设置软连接(也可不设置,这里只是为了方便)ln-sjdk1.8.0_121jdk4、配置环境变量vim/etc/profile将

【ES知识】ES基础查询语法一览

大家好,我是老坛。更多优质文章资源请关注同名公众号:老坛聊开发Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎,它使用方便,查询速度快,因此也被越来越多的开发人员使用。本篇文章主要带大家过一下ES的基础查询语法,但对于其背后的原理和查询机理我不会做太多介绍,好了我们开始正题。目录1.ES分词器2.ES查询2.1match查询2.2match_phrase查询2.3multi_match查询2.4term查询2.5terms查询2.6fuzzy查询2.7range查询2.8 bool查询2.9 排序和分页3.总结1.ES分词器在学习查询语法之前有必要带大家了解一下E

ES写数据延迟问题

 ES写数据延迟问题问题背景在index后有一个refresh_interval默认1秒,在这个时间间隔内search是不可见的。 解决elasticsearch更新数据后不能立即刷新的问题_啦啦不要熬夜啊的博客-CSDN博客_es更新后立马刷新写数据----->ES内存buffer(缓存区)-------定期refresh成segment------>os系统文件缓冲区(在这里的数据对搜索可见)---->磁盘refresh:Elasticsearch刚索引的文档并不是立即对搜索可见,它们会先在内存buffer(缓存区)中,buffer数据满后或主动刷新操作才会进行refresh写入到文件缓存

ElasticSearch系列 - SpringBoot整合ES:多字段查询 multi_match

文章目录1.什么是ElasticSearch的multi_match查询?2.如何在multi_match查询中指定查询字段?3.如何在multi_match查询中指定查询权重?4.SpringBoot整合ES实现multi_match查询1.什么是ElasticSearch的multi_match查询?有时用户需要在多个字段中查询关键词,除了使用布尔查询封装多个match查询之外,可替代的方案是使用multi_match。可以在multi_match的query子句中组织数据匹配规则,并在fields子句中指定需要搜索的字段列表。以下是一个示例multi-match查询的语法:{"query

M1芯片Mac无法安装ES 6.x解决方案

写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。同时,博主也想通过此次尝试打造一个完善的技术图书馆,任何与文章技术点有关的异常、错误、注意事项均会在末尾列出,欢迎大家通过各种方式提供素材。对于文章中出现的任何错误请大家批评指出,一定及时修改。有任何想要讨论和学习的问题可联系我:zhuyc@vip.163.com。发布文章的风格因专栏而异,均自成体系,不足之处请大家指正

【有手就行】filebeat+es+kibana收集Nginx日志

做这篇文章我已经自己搭建了3次,前2次都会遇到不一样的问题,第三次基本遇到问题就很快解决了。这篇文章,介绍从0开始搭建Nginx,filebeat。es和kibana本次使用的是现有环境,不做介绍。环境准备VMware虚拟机filebeat安装包步骤1:虚拟机准备确认虚拟机可以访问和远程我是克隆的虚拟机,虚拟机搭建不做介绍克隆虚拟机可能存在ip未能分配:我是通过重启所有机器解决的。重启后 网络测试步骤2:安装Nginx目标:局域网机器可访问1、安装wget、tar及nginx必备库yum-yinstallwgetyuminstall-ytaryum-yinstallmakezlibzlib-d