草庐IT

ES实战快速学习

小可0306 2023-10-29 原文

大概两天的时间快速浏览下ES实战这本书。这本书适合es初学者，倾向于介绍ES是什么，它有什么用，它如何用。自己写个简单的笔记，记录下。至于源码的学习，这个需要再找时间。

1、es的索引过程

Esclient -> 协调节点->找到这个doc所在的主shard，然后进行索引文档，该主分片索引完毕后，同步分片shard，同步完成后，告知客户端索引文档完毕

2、es的搜索过程

Esclient -> 协调节点 -> 根据查询的索引名、类型，找到该索引所在的所有分片-> 对于每个分片轮询主副分片->找到该分片所在的节点，然后和这个es节点通信，获取数据->然后在协调节点进行汇总->通过打分机制，返回得分最高的文档。

3、es的查询语法

Query  过滤器的用法

Query string、term、terms、match_all、match查询

过滤器可以缓存

4、es的一些基础概念

主要是自定义字段（内置字段）的含义

_index

_type

_id

_source： 这个字段如果关闭了，根据term只能查出来这个索引的一些基本信息。

_all

_ttl

_timestamp

明白了mapping的意思，就是对字段类型的定义

明白了field可以是不同类型的

明白了分析阶段的所有流程：

（1）字符过滤器  比如html一些符号过滤、删除

（2）分词器分词  ->token。注意token与term的联系和区别

（3）分词过滤器处理每个分词

（4）对这些分词简历倒排索引

明白了可以在创建索引的时候配置分析器

可以在mapping这里对不同字段进行分析器配置，分词器、分词过滤器、字符过滤器的配置。

5、es集群

（1）es节点启动

es节点启动时，会先发广播请求，其它es节点会去监听。广播请求中包括了集群名字，如果是同一个集群名字，就可以加入。    --》会不会出现冒充请求？

es节点启动，也可以发送单播请求

（2）es选主

es全部节点启动或者超过n/2 +1 个节点启动后，再去选主。   ----》选主的标准？

（3）es集群重启

          1）选取master节点

          2）选举最新的集群元数据信息

          3）根据最新的元数据信息进行分片分配，由es master节点来确定主分片是什么。

6、es 打分机制

TF-IDF打分

boost是干啥的，一 般是在查询的时候，主动提升该文档的打分。

7、es 文档的删除

不是直接删除，是标记删除。

内部进行段文件合并的时候删除。

8、es详细索引文档的流程

esclient -> 该文档对应该索引的主shard->写buffer + translog ->buffer 一秒commit一次生成段文件到os cache（此时数据可以查询），并清空buffer-> translog 大概五秒写一次 文件

当时间超过30min，触发flush; 

或者translog 特别大，触发flush，

flush完成后，清除translog，再创建一个新的translog文件

几个问题：

1、es highlevel lowlevel的请求流程？ 

通过netty中配置的handler是如何对请求进行过滤的，认证、加密的？

2、es 节点的es集群元数据信息、索引信息、以及索引对应分片位于哪个节点，这些元数据信息是怎么保存的？

hdfs是放在fsimage、editlog中，es保存这些有没有具体的位置？是每个esnode都进行保存了吗？

3、es是对等结构，那esmaster有什么用？

4、lucene中 token的payload有什么用？

实战学习margin-leftmarginstyleelasticsearch

有关ES实战快速学习的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. LC滤波器设计学习笔记（一）滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称

  3. CAN协议的学习与理解 - 2

    最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  4. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  5. 微信小程序开发入门与实战（Behaviors使用） - 2

    @作者:SYFStrive @博客首页:HomePage📜：微信小程序📌：个人社区（欢迎大佬们加入）👉：社区链接🔗📌：觉得文章不错可以点点关注👉：专栏连接🔗💃：感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序（🔥）目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中，用于实现

  6. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  7. ruby - 我正在学习编程并选择了 Ruby。我应该升级到 Ruby 1.9 吗？ - 2

    我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or

  8. ruby - 我如何学习 ruby​​ 的正则表达式？ - 2

    如何学习ruby​​的正则表达式？(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具，因为它可以立即将结果可视化。 关于ruby-我如何学习ruby​​的正则表达式？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1881231/

  9. ruby - 如何以表格格式快速打印 Ruby 哈希值？ - 2

    有没有办法快速将表格格式的ruby​​哈希打印到文件中？如:keyAkeyBkeyC...1232343451253474456...其中散列的值是不同大小的数组。还是使用双循环是唯一的方法？谢谢 最佳答案 试试我写的这个gem(在表中打印散列、ruby对象、ActiveRecord对象):http://github.com/arches/table_print 关于ruby-如何以表格格式快速打印Ruby哈希值？，我们在StackOverflow上找到一个类似的问题：

  10. 深度学习12. CNN经典网络 VGG16 - 2

    深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG

随机推荐