草庐IT

elasticsearch 7.9.3知识归纳整理(二)之 es基本原理及使用kibana操作es的常见命令

es基本原理及使用kibana操作es的常见命令一、es的基本原理与基础概念1.1倒排索引倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(invertedindex)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(invertedfile)。如图1.2索引index一个索引就是一个拥有几分相似特征的文档的集合。比如说,可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引一个索引由一个名字来标识(必须全部是小写字母的),并且当我

搜索引擎ES-RestHighLevelClient

搜索引擎ES-RestHighLevelClient前言:本篇文章,主要讲述如何引入RestHighLevelClient,以及对其API的调用,属于入门级别的接口实用。适用于由于工作需要及时了解的童靴们以及初学者。想要了解ES底层更多内容的童鞋们,本篇文章并不适合!前言:对比mysql,了解ES首先通过图片对比我们了解的关系型数据库一、引入依赖 dependency>groupId>org.springframework.boot/groupId>artifactId>spring-boot-starter-data-elasticsearch/artifactId>/dependency

springboot整合es

NoSQL解决方案已经讲完了两种技术的整合了,Redis可以使用内存加载数据并实现数据快速访问,MongoDB可以在内存中存储类似对象的数据并实现数据的快速访问,在企业级开发中对于速度的追求是永无止境的。下面的内容也是一款NoSQL解决方案,只不过他的作用不是为了直接加速数据的读写,而是加速数据的查询的,叫做ES技术。ES(Elasticsearch)是一个分布式全文搜索引擎,重点是全文搜索。那什么是全文搜索呢?比如用户要买一本书,以Java为关键字进行搜索,不管是书名中还是书的介绍中,甚至是书的作者名字,只要包含java就作为查询结果返回给用户查看,上述过程就使用了全文搜索技术。搜索的条件不

ES6--ES11新特性

ES6-ES11新特性ES6官方文档:https://es6.ruanyifeng.com参考笔记:https://docs.mphy.top/#/ECMAScript6+/ch01一、ES6相关介绍ES全程EcmaScript,是脚本语言的规范,而平时经常编写的JavaScript,是EcmaScript的一种实现,所以ES新特性其实指的就算JavaScript的新特性。1.1什么是ECMAECMA(EuropeanComputerManufacturersAssociation)中文名称为欧洲计算机制造商协会,这个组织的目标是评估、开发和认可电信和计算机标准。1994年后该组织改名为Ecm

ES ElasticSearch Connection reset by peer问题解决

问题现象程序隔一段时间不操作后,再请求es就会报错Connectionresetbypeer,之后连续几次操作都正常解决方法修改客户端的keepalive时间,将以下代码复制进项目即可@BeanRestHighLevelClientrestHighLevelClient(RestClientBuilderbuilder,ElasticsearchRestClientPropertieselasticsearchRestClientProperties){builder.setHttpClientConfigCallback(httpClientBuilder->{//配置用户身份凭据提供htt

从0到1ES集群搭建实践

ES集群搭建实践虚拟机安装下载地址Windows&Linux:WMwareWorkstation16ProMacOS:WMwareFusion构建CentOS镜像下载系统镜像下载地址:https://centos.org/download/选择符合符合你电脑的指令集版本,比如我的CPU是x86_64架构配置网卡信息vi/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="none"#关闭dhcp,需要固定ipDEFROUTE="yes"IPV

Android FFmpeg 解码 OpenSL ES 播放音频

 在Android开发中,OpenSLES(OpenSoundLibraryforEmbeddedSystems)是一个C/C++音频库,提供了底层的音频功能和处理接口。它是Android平台上用于实现低延迟和高性能音频功能的一种选择。本文的主线任务是描述一个媒体文件通过FFmpeg解码后用OpenSLES播放音频的过程因为代码量很多,所以我直接从Native层开始了,看不懂的可以下载源代码配合着看(末尾)extern"C"JNIEXPORTvoidJNICALLJava_cn_wk_opensl_1demo_MainActivity_audioPlayer(JNIEnv*env,jobjec

ES索引重建reindex详解

一、使用场景1.分片数变更:当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。2.mapping字段变更:当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的,所以这种情况下也可以考虑尝试使用Reindex。3.分词规则修改,比如使用了新的分词器或者对分词器自定义词库进行了扩展,而之前保存的数据都是按照旧的分词规则保存的,这时候必须进行索引重建。二、_reindex官方说明地址:reindexES

logstash读取kafka所有topics 自动创建es 索引

logstash读取kafka的topics,根据内容提取指定字段然后自动创建es索引。input{ kafka{   bootstrap_servers=>"192.168.1.15:9092"   auto_offset_reset=>"latest"   topics_pattern=>"svc.*"#topics_pattern支持正则匹配,topics不支持   consumer_threads=>5   codec=>"json" }}filter{  mutate{#    gsub=>[#     "fieldname","#","-"#    ]用于替换指定字符    spl

ES 写索引报错 FORBIDDEN/12/index read-only / allow delete (api)解决方案

项目跑了一段时间,发现ES写索引异常,排查日志,报错org.elasticsearch.cluster.block.ClusterBlockException:blockedby:[FORBIDDEN/12/indexread-only/allowdelete(api)];ElasticSearch进入“只读”模式,只允许删除。  ES说明文档中有写明,当ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所以初步判断是磁盘空间不足导致ES不允许写入。如果是由于其他原因导致磁盘报满而且又不能删文件,只能通过加磁盘空间解决,这里提醒一下ES日志和数据存储目录尽量不要和ES安装在同一