草庐IT

ES 全文搜索与数据分析引擎

ES它是一个分布式的全文搜索与数据分析引擎。与关系型数据库对比:一个ES集群可以包含多个索引(数据库),每个索引又包含了很多类型(表),类型中包含了很多文档(行),每个文档使用JSON格式存储数据,包含了很多字段(列)基本操作:连接:安装pipinstallelasticsearch连接fromelasticsearchimportElasticsearch#实例化es=Elasticsearch([{"host":"ip","port":9200}])插入:创建数据库es.indices.create(index="index_name",ignore=400)创建数据库,并忽略400错误(

Apache Doris1.1.2(ES & MySQL)

目录ApacheDoris数据准备MySQLElasticSearchApacheDoris配置修改FEBEMySQL外部表ES外部表页面查询MySQLODBC驱动安装 ApacheDoris简单易用、高性能和统一的分析数据库数据准备MySQLElasticSearchApacheDoris配置修改FEmeta_dir=/data/apache/apache-doris-fe-1.1.2-bin/fe/doris-metapriority_networks=172.17.1.13BEpriority_networks=172.17.1.13storage_root_path=/data/apa

spring data elasticsearch: 设置保活策略|长时间不连接es,报错超时连接

问题javaclient长时间没有连接es后,再次调用访问接口,报错连接超时环境以下方法实测在spring-data-elasticsearch4.2.10和spring-data-elasticsearch3.2.12.RELEASE环境下有效解决1、因为问题的原因是长时间没有连接导致的,最直接、常见的解决方案就是定期的去调用连接es,以此保证连接不会中断,这样的操作我们称之为保活策略2、在RestClientBuilder的回调函数中提供了一个setKeepAliveStrategy方法,可以用来设置保活策略RestClientBuilderbuilder=RestClient.build

Elasticsearch基础2——es配置文件、jvm配置文件、log4j2.properties配置文件详解

文章目录一、配置文件详解1.1elasticsearch.yml文件1.1.1基础参数1.1.1.1自定义数据/日志目录1.1.1.2锁定物理内存1.1.1.3跨域设置1.1.1.4其他参数1.1.2集群类1.1.3分片类1.1.4IP绑定类1.1.5端口类1.1.6交互类1.1.5Xpcak安全认证1.1.5.1xpack内置用户1.1.5.2xpack功能使用1.1.5.3安全功能核心参数1.1.5.3.1开启安全验证功能,密码访问1.1.5.3.2开启ssl证书认证,https访问1.1.5.3.3开启传输层认证1.2jvm.options文件1.2.1jvm.option文件参数释义1

Elasticsearch基础2——es配置文件、jvm配置文件、log4j2.properties配置文件详解

文章目录一、配置文件详解1.1elasticsearch.yml文件1.1.1基础参数1.1.1.1自定义数据/日志目录1.1.1.2锁定物理内存1.1.1.3跨域设置1.1.1.4其他参数1.1.2集群类1.1.3分片类1.1.4IP绑定类1.1.5端口类1.1.6交互类1.1.5Xpcak安全认证1.1.5.1xpack内置用户1.1.5.2xpack功能使用1.1.5.3安全功能核心参数1.1.5.3.1开启安全验证功能,密码访问1.1.5.3.2开启ssl证书认证,https访问1.1.5.3.3开启传输层认证1.2jvm.options文件1.2.1jvm.option文件参数释义1

idea2021版配置maven导入依赖jar包

1:先下载好maven的安装包,配置好了环境变量后,打开idea创建新的模块先创建一个空的包; 2:进去创建你的空项目后,rhfinish完成就可以了3:上面完成后,点击file,找到你的settings设置点进去找到maven,然后进行配置;我这里是自己创建的一个仓库名;然后在idea中maven的环境就算是配置好了的;  4:然后我们继续在你刚才创建好的空模块里面进行file,然后下一步; 5:然后写你的项目名称,下一步; 6:最后跟什么配置环境一样的,然后完成就可以了; 7:完成后的项目结构是下面这种形式,因为我创建好了的,里面写了东西,你们创建的时候是都没有这些包的,只有骨架自己的结构

idea2021版配置maven导入依赖jar包

1:先下载好maven的安装包,配置好了环境变量后,打开idea创建新的模块先创建一个空的包; 2:进去创建你的空项目后,rhfinish完成就可以了3:上面完成后,点击file,找到你的settings设置点进去找到maven,然后进行配置;我这里是自己创建的一个仓库名;然后在idea中maven的环境就算是配置好了的;  4:然后我们继续在你刚才创建好的空模块里面进行file,然后下一步; 5:然后写你的项目名称,下一步; 6:最后跟什么配置环境一样的,然后完成就可以了; 7:完成后的项目结构是下面这种形式,因为我创建好了的,里面写了东西,你们创建的时候是都没有这些包的,只有骨架自己的结构

ES模糊查询失效的坑,附解决方案

项目场景:最近在做需求开发的时候,有个需求,需要根据关键字去ES中进行模糊搜索。于是首先想到了wildcard查询,根据关键字,利用*通配符,类似于mysql中的like一样进行模糊搜索。问题描述但是遇到了问题就是,根据单个汉字能正常模糊搜索,多个汉字就无法查询出数据。单个汉字正常查询:多个汉字无法查出数据:于是我就百度找解决方案,很多人说都说在查询关键字后面加.keyword就可以正常查询了,于是我接着尝试,结果还是不能正常查询,而且原来单个汉字能查询的,现在也不行了原因分析:于是我怀疑是字段类型导致的,就有了下面这个我自己建的blog的测试索引。咱们现在只关心索引中的name,newNam

elastic search es 分组统计 aggs 次数用法

参考链接:https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.htmles各个版本的语法可能会不一样,如果大家在用的时候发现语法报错了,请查阅相关版本的语法。刚需要按ip地址统计某个接口的访问次数,查了下es分组统计次数aggs的用法,特此记录一下,方便下次查阅。GETfilebeat-7.2.0-2021.01.07/doc/_search?size=0{"query":{"bool":{"must":[{"match":{"uripath":"url"}}]}},"aggs"

python在es中scroll用法详解

        面对大量数据时,不能一次性返回所有数据,也不能同时使用from、size多次返回数据,会对服务器造成较大压力,可以使用scroll轻松解决。示例代码:  【grade库中共有数据1000*10000条数据】fromelasticsearchimportElasticsearchimporttimees=Elasticsearch(hosts='http://127.0.0.1:9200')query={"query":{"bool":{"must":[{"match":{"name":"张三"}}],"filter":[{"range":{"id":{"gte":0}}}]}}