相对于英文文本，中文文本挖掘面临的首要问题就是分词，因为中文的词之间没有空格。在Python中可以使用jieba库来进行中文分词。但是在中文中，标点符号出现的频率也是很高的，在使用jieba库对带有标点符号的汉语句子进行分词时，标点符号出现在分词结果中时，对于后续的文本数据挖掘是一个不利的因素。本文介绍一段去除标点符号的Python代码。并在Anaconda3的JupyterNotebook中展现代码的运行结果。下面的代码，定义一段带有标点符号的文本，并使用jieba库进行分词。代码如下：importjiebatext="她说：“我爱死你了！”"cutwords=list(jieba.cut(
相对于英文文本，中文文本挖掘面临的首要问题就是分词，因为中文的词之间没有空格。在Python中可以使用jieba库来进行中文分词。但是在中文中，标点符号出现的频率也是很高的，在使用jieba库对带有标点符号的汉语句子进行分词时，标点符号出现在分词结果中时，对于后续的文本数据挖掘是一个不利的因素。本文介绍一段去除标点符号的Python代码。并在Anaconda3的JupyterNotebook中展现代码的运行结果。下面的代码，定义一段带有标点符号的文本，并使用jieba库进行分词。代码如下：importjiebatext="她说：“我爱死你了！”"cutwords=list(jieba.cut(
目录一、前言二、默认分词器三、IK分词器1.主要算法2.安装IK分词器2.1关闭es服务2.2上传ik分词器到虚拟机2.3解压2.4启动ES服务2.5测试分词器效果2.6IK分词器词典四、拼音分词器1.安装2.测试分词效果五、自定义分词器1.创建自定义分词器2.测试一、前言ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!二、默认分词器standardanalyzer：Elasticsearch默认分词器，根据空格和标点符号对英文进行分词，会进行单词的大小写转换。默认分词器
目录一、前言二、默认分词器三、IK分词器1.主要算法2.安装IK分词器2.1关闭es服务2.2上传ik分词器到虚拟机2.3解压2.4启动ES服务2.5测试分词器效果2.6IK分词器词典四、拼音分词器1.安装2.测试分词效果五、自定义分词器1.创建自定义分词器2.测试一、前言ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档。要想正确地分词，需要选择合适的分词器。现在咱们来探索一下分词器的真实面目!二、默认分词器standardanalyzer：Elasticsearch默认分词器，根据空格和标点符号对英文进行分词，会进行单词的大小写转换。默认分词器
1.分词器：2.match查询：2.1.数据准备-创建带分词器的索引映射2.2.数据准备-添加文档2.3.数据准备-查看文本分词2.4.查询-映射有分词器的字段查询2.4.查询-映射没有分词器的字段查询3.match_phrase查询：4.match_phrase_prefix查询：5.match_bool_prefix查询：6.match_all查询所有：7.multi_match查询：7.1.best_fields类型查询：7.2.most_fields类型查询：7.3.cross_fields类型查询：7.4.字段通配符和字段加权提升：本系列笔记结合HTTP请求（使用postman调用，
1.分词器：2.match查询：2.1.数据准备-创建带分词器的索引映射2.2.数据准备-添加文档2.3.数据准备-查看文本分词2.4.查询-映射有分词器的字段查询2.4.查询-映射没有分词器的字段查询3.match_phrase查询：4.match_phrase_prefix查询：5.match_bool_prefix查询：6.match_all查询所有：7.multi_match查询：7.1.best_fields类型查询：7.2.most_fields类型查询：7.3.cross_fields类型查询：7.4.字段通配符和字段加权提升：本系列笔记结合HTTP请求（使用postman调用，
分词器介绍ES作为全文检索服务，势必要对原始的文本进行内容的拆分，才能进行有效的索引。而拆分原始内容到一个一个小的词，或语义单元，这部分的功能由ES的分词器去完成的。常见分词器standard：ES默认的分词器，会将词汇单元进行小写形式，并且去除一些停用词和标点符号等等。支持中文，采用的方法为单字切分。simple：该分词器首先通过非字母字符来分割文本信息，然后将词汇单元统一为小写形式。该分词器会去除掉数字类型的一些字符。whitespace：仅仅是去除空格，然后对字符没有任何的小写化，并且该分词器不支持中文，而且它对生成的词汇单元没有作其他的一些标准化的处理。language：特定语言的分词
分词器介绍ES作为全文检索服务，势必要对原始的文本进行内容的拆分，才能进行有效的索引。而拆分原始内容到一个一个小的词，或语义单元，这部分的功能由ES的分词器去完成的。常见分词器standard：ES默认的分词器，会将词汇单元进行小写形式，并且去除一些停用词和标点符号等等。支持中文，采用的方法为单字切分。simple：该分词器首先通过非字母字符来分割文本信息，然后将词汇单元统一为小写形式。该分词器会去除掉数字类型的一些字符。whitespace：仅仅是去除空格，然后对字符没有任何的小写化，并且该分词器不支持中文，而且它对生成的词汇单元没有作其他的一些标准化的处理。language：特定语言的分词
IK分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases下载ES版本对应的分词器即可安装ik分词器将下载好的zip包解压，生成一个ik文件夹将ik文件夹移动到ES安装目录下的plugins文件夹下（每台ES节点都要执行相同的操作）重启ES集群自定义分词库用vim在ik中的config目录中新建词库文件my_word.dic输入你定义的词保存。修改ik中的config目录下面的IKAnalyzer.cfg.xml文件。添加自定义分词需要重启ES。ik分词热更新部署words_locationwords_locati
IK分词器下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases下载ES版本对应的分词器即可安装ik分词器将下载好的zip包解压，生成一个ik文件夹将ik文件夹移动到ES安装目录下的plugins文件夹下（每台ES节点都要执行相同的操作）重启ES集群自定义分词库用vim在ik中的config目录中新建词库文件my_word.dic输入你定义的词保存。修改ik中的config目录下面的IKAnalyzer.cfg.xml文件。添加自定义分词需要重启ES。ik分词热更新部署words_locationwords_locati
