全文检索服务ElasticSearch其他相关：介绍入门及安装Field整合SpringBoot集群管理1.IK分词器1.1测试分词器  在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。测试当前索引库使用的分词器：POST/_analyze{"text":"测试分词器，后边是测试内容：springcloud实战"}结果如下：  会发现分词的效果将“测试”这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。1.2.中文分词器1.2.1.Lucene自带中文分词器StandardAnalyz

目录一、下载腾讯的词向量二、停用词三、代码部分    3.1、代码思想四、输出结果        本文主要是将句子分词转向量，再加总词向量求平均变为句子向量。接着再存储到faiss中。等待新句子到来，同样按照上述方法处理。达到在faiss能检索出相似的向量。一、下载腾讯的词向量    下载后放到一个地方，待会代码部分需要使用。下载地址：  EmbeddingDataset--NLPCenter,TencentAILab    二、停用词   可以上网查找一些停用词表，或者自己定义一个stop_words.txt。同样代码部分需要使用。          三、代码部分    3.1、代码思想  

对于标题我没有夸大哈，能成功的，每一步也有代码和图相结合的最近在弄这个Elasticsearch，技术发展所要求，现在还有什么我不需要去学吗？麻了麻了。沉下去，再浮上来，我想我们会变的不一样的。😁CV即可啦原因：好看的人拍的好看的图作者：笨小孩.一、Docker安装Elasticsearch1.1、拉取Elasticsearch镜像dockerpullelasticsearch:7.7.0查看镜像命令：dockerimages删除镜像命令：dockerrmiordockerrmi1.2、启动前准备创建存放数据及配置文件的文件夹，启动时挂载。mkdir-p/home/elasticsearch/

es，kibana，ik的下载安装下载地址es下载地址：https://www.elastic.co/cn/downloads/elasticsearchkibana下载地址：https://www.elastic.co/cn/downloads/kibanaik中文分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik备注：打开比较慢，ie下载要快点。3个版本需完全一致一、elasticsearh的安装配置1.elasticsearh的文件准备1.1前提是linux已经安装了jdk8或以上版本解压es:tar-zxvfelasti

分词器在Elasticsearch的使用中非常重要。分词器中的过滤器可以帮我们对最终的分词进行处理，从而使得我们得到的最终分词会影响存储的大小和搜索的方式。在今天的文章中，我来分享一下一些常用的分词器中的token过滤器。更多有关token过滤器的内容可以在Elastic的官方文档查询。有关更多关于analyzer的阅读，请参考我之前的文章“Elasticsearch:analyzer”。如上图所示，在分词器的构成中，它可以含有0或多个charfilters，有且只有一个tokenizer，0或多个tokenfilters。 安装在今天的展示中，我们需要安装中文最为流行的IK分词器。详细的安装

一、概念1、初学可以把es看作数据库可以建立索引（库）文档（库中的数据）2、es是面向文档的，一切都是json3、物理设计es后台把每个索引划分成多个分片，每份分片可以在集群中的不同服务器间迁移，一个默认就是一个集群默认集群名称elaticsearch4、逻辑设计二、ik分词器1、概述把一段中文分成一个个关键字，搜索的时候根据关键信息搜索，会把数据库中或者索引中的数据进行分词，默认中文分词是将每一字都看成一个词，比如我爱中国分成‘我’‘爱’‘中’‘国’显然有问题，所以安装中文分词器解决这个问题ik提供了ik_smart和ik_max_word,其中ik_smart为最少切分，ik_max_wo

倒排索引Elasticsearch使用一种称为倒排索引的结构，它适用于快速的全文搜索。见其名，知其意，有倒排索引，肯定会对应有正向索引。正向索引（forwardindex），反向索引（invertedindex）更熟悉的名字是倒排索引。所谓的正向索引，就是搜索引擎会将待搜索的文件都对应一个文件ID，搜索时将这个ID和搜索关键字进行对应，形成K-V对，然后对关键字进行统计计数。但是互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都

什么是IK分词器？分词:即把一段中文或者别的划分成一个个的关键字，在搜索时候会把自己所需的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“我是李铁”会被分为"我”“是”“李”"铁”，不符合要求的，所以需要安装中文分词器ik来解决这个问题。如果要使用中文，建议使用ik分词器!K提供了两个分词算法:iksmat和ikmaxword,其中iksmat为最少切分ikmaxword为最细粒度划分!一会我们测试!安装IK分词器插件1.地址：https://github.com/medcl/elasticsearch-analysis-i

一、分词器的概念1、AnalysisPhase在文档（Document）被添加到反向索引（invertedindex）之前，Elasticsearch对文档正文执行的过程称为分析阶段（AnalysisPhase）。如下图所示，可以很形象的说明一个文档被IngestNode接入时需要经历的步骤：分析阶段的这部分就是分析器Analyzer，通常是由CharFilters、Tokenizer、TokenFilter组成的，它们的功能和特点如下：CharFilters：字符过滤器执行的是过滤和转换特定字符的工作，比如，过滤标点符号、过滤数字、过滤HTML标签、将&转换成and等；Tokenizer：分

ElasticSearch+kibana部署略创建索引PUT/nba_20220101{ "mappings":{ "properties":{ "age":{ "type":"integer" }, "birthDay":{ "type":"date" }, "birthDayStr":{ "type":"keyword" }, "code":{ "type":"text" }, "country":{ "type":"keyword" }, "countryEn":{ "type":"keyword" }