文章目录数据聚合聚合的种类DSL实现聚合RestAPI实现聚合自动补全拼音分词器自定义分词器自动补全查询completionsuggester查询RestAPI实现自动补全数据同步数据同步思路分析实现elasticsearch与数据库数据同步集群搭建ES集群创建es集群集群状态监控创建索引库1）利用kibana的DevTools创建索引库2）利用cerebro创建索引库查看分片效果ES集群的节点角色集群脑裂问题集群分布式存储集群分布式查询集群故障转移数据聚合聚合的种类聚合（aggregations）可以实现对文档数据的统计、分析、运算。聚合常见的有三类：桶（Bucket）聚合：用来对文档做分组

目录1.初识elasticsearch1.1.了解ES1.1.1.elasticsearch的作用1.1.2.ELK技术栈1.1.3.elasticsearch和lucene1.1.4.为什么不是其他搜索技术？1.1.5.总结1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排1.3.es的一些概念1.3.1.文档和字段1.3.2.索引和映射1.3.3.mysql与elasticsearch1.4.安装es、kibana1.4.1.总结2.索引库操作2.1.mapping映射属性2.2.索引库的CRUD2.2.1.创建索引库和映射2.2.2.查询索引库2.2.3.修改

文章目录前言1.Windows安装Cpolar2.创建Elasticsearch公网连接地址3.远程连接Elasticsearch4.设置固定二级子域名前言简单几步,结合Cpolar内网穿透工具实现Java远程连接操作本地分布式搜索和数据分析引擎Elasticsearch。Cpolar内网穿透提供了更高的安全性和隐私保护，通过使用加密通信通道，Cpolar技术可以确保数据传输的安全性，这为用户和团队提供了更可靠的保护，使他们能够放心地处理和存储敏感的工作内容。1.Windows安装Cpolar访问cpolar官网，注册一个账号，然后下载并安装客户端，具体安装教程可以参考官网文档教程。Cpola

pom.xmlorg.elasticsearchelasticsearch7.8.0org.elasticsearch.clientelasticsearch-rest-high-level-client7.8.0org.apache.logging.log4jlog4j-api2.8.2org.apache.logging.log4jlog4j-core2.8.2com.fasterxml.jackson.corejackson-databind2.9.3junitjunit4.12elasticsearch的两个依赖要和elasticsearch服务器版本一致。#客户端对象建好项目，创建一

因工作的需要，要使用elasticsearch，安装完了，启动也成功了之后，发现公网无法访问elasticsearch的服务，于是开始在CSDN里四处寻找问题原因。我自己是使用的阿里云服务器，系统是cento7。第一种方法是直接关闭防火墙：（非root用户记得命令前加sudo，没有sudo权限可以vim/etc/sudoers,在root  ALL=(ALL)   ALL下面加上：你的用户名ALL=(ALL:ALL) ALL）#暂时关闭防火墙，重新开机后防火墙还是会启动systemctlstopfirewalld  #看一下防火墙状态是不是dead  systemctlstatusfirewa

因子分析是一种常用的特征提取方法，可以被认为是主成分分析（PrincipalComponentAnalysis,PCA）的扩展。因子分析与PCA最大的区别在于，因子分析得到的隐藏因子具有可解释性，具有较高的实用价值。现如今，对于因子分析在提高模型可解释性和有效性的研究还尚未得到彻底的分析和探索。 因子分析通过对相关矩阵的分析，寻找一些支配特征间相关性的独立的潜在因子，简化观测数据，从而挖掘有效信息。为了获得具有代表性的隐藏因子，只有当样本充足且变量之间具有较强的相关性时，因子分析的结果才有效。因此，在因子分析之前，通常需要采用Kaiser-Meyer-Olkin（KMO）检验和巴特利特检验来判

本小结主要了解的内容是：了解分词器的概念掌握IK分词器和热词配置1.分词ES中为了方便查询,提供多维度的查询功能,对存储在索引中的文档进行分词计算,但是文本内容不同,类型不同,语言不同分词计算逻辑就不会一样.1.1概括文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配.如果您搜索"王者荣耀"，您可能希望包含"王者","荣耀"和"王者荣耀"的文档，还可能希望包含相关"王"或"者"的文档。Tokenization该过程将文本拆分成一小块一小块,这一小块内容称之为token,大多数情况下一个token代表着一个词语;Normalization词条化允许

安装官方docker安装说明文档：https://github.com/alibaba/canal/wiki/Docker-QuickStart组件介绍canal.adaptercanal1.1.1版本之后,增加客户端数据落地的适配及启动功能,目前支持功能:客户端启动器同步管理REST接口日志适配器,作为DEMO关系型数据库的数据同步(表对表同步),ETL功能HBase的数据同步(表对表同步),ETL功能(后续支持)ElasticSearch多表数据同步,ETL功能canal.admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用

背景XOP亿级别题库的试题召回以及搜题的举一反三业务场景都涉及使用文本相似搜索技术，学习此方面技术以便更好的服务于业务场景。目前基于集合的Jaccard算法以及基于编辑距离的Levenshtein在计算文本相似度场景中有着各自的特点，为了优化具体的计算时间抖动超时问题，需要学习此方面知识，本文主要内容为文本相似度计算方法的现状、Jaccard、Levenshtein算法实现基本原理以及代码实现论文基于改进的Jaccard系数文档相似度计算方法的算法。ps：你知道的越多，你不知道的也越多，搜索技术真是让人上头hhh参考基于改进的Jaccard系数文档相似度计算方法论文http://www.c-s

本篇文章主要介绍了使用DockerCompse部署Elasticsearch+Kibana，并整合到SpringBoot项目中的详细步骤。Elasticsearch+Kibana版本:7.17.0（7的最新版本）；SpringBoot版本：2.7.5。Kibana官方文档、Elasticsearch官方文档服务器目录结构——root|——mall//根目录|——pack|——elastic|--config |--elasticsearch.yml //Elasticsearch配置文件|--data //Elasticsearch数据目录|--plugins//Elasticsearch插