草庐IT

ElasticSearch——刷盘原理流程

Colins~ 2025-05-19 原文

ElasticSearch——刷盘原理流程

刷盘原理流程

整个过程会分成几步：

  1. 数据会同时写入buffer缓冲区和translog日志文件
  2. buffer缓冲区满了或者到时间了（默认1s），就会将其中的数据转换成新的segment并写入系统文件缓存，这一步叫 refresh
  3. 其中后台会自动合并小的segment成大的segment； 这一步叫段合并
  4. 当translog达到大小的阈值(默认512M)或者flush默认时长（30m），则会执行flush操作：
    • 内存中数据写入新的segment放入缓存（清空内存区）
    • 一个commit point写入磁盘，表示哪些segment已写入磁盘
    • 将缓存的segement写入磁盘（fsync命令）
    • 清空旧的translog（因为没用了）

5.translog日志文件也需要持久化到磁盘：

  • 同步刷盘：每次修改操作完成后立刻执行fsync命令刷盘
  • 异步刷盘：默认每5s执行fsync命令刷盘

名词和操作解释

  • index Buffer 是ES内存中的一部分；OS 系统文件缓存是操作系统的，不属于ES内存

  • refresh操作：定时将ES缓冲区的数据转换成segment并写入系统文件缓存的过程（默认1s一次）；因为数据只有到了系统文件缓存才能被搜索到，这个延迟也是ES被称为近实时搜索的原因

  • translog：日志文件，因为不管是ES缓冲区还是系统文件缓存只要没到磁盘，一旦服务器宕机，数据就丢失了，所以有了translog日志文件，因为该文件是顺序写入所以开销不大，默认是同步刷盘，还可以设置成异步的（默认5s刷盘一次）

  • flush：因为上述的数据只是到了系统文件缓存，虽然有translog的持久化保证数据的不丢失，但translog会越来越大，文件越大一旦宕机恢复的时候不是越麻烦？所以数据本身的持久化和translog文件清理的机制就叫flush，它会将系统文件缓存中的segment数据持久化到磁盘，同时清除旧的translog，默认30分钟一次或者translog大小达到512M阈值，有以下几步：

    1.内存中数据写入新的segment放入缓存（清空内存区）

    2.一个commit point写入磁盘，表示哪些segment已写入磁盘

    3.将缓存的segement写入磁盘（fsync命令）

    4.清空旧的translog（因为没用了）

  • fsync：这个可能是很多人理解错的地方，这个只是个系统命令，一个将系统文件缓存中的数据持久化到磁盘的命令，所以flush在持久化segment段数据的时候会调用，同时translog持久化到磁盘的时候也会调用

  • segment file：一个存储了倒排索引的文件，搜索也会按照段来搜索

  • 段合并：由于refresh会创建一个新的段 ，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一个段都会消耗文件句柄、内存和 cpu 运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所以段越多，搜索也就越慢。Elasticsearch 通过在后台进行段合并来解决这个问题。小的段被合并到大的段，然后这些大的段再被合并到更大的段。段合并的时候会将那些旧的已删除文档从文件系统中清除。被删除的文档（或被更新文档的旧版本）不会被拷贝到新的大段中。

  • commit point：记录当前所有可用的segment，会维护一个.del文件（es删除的时候会先在.del文件中声明某个document被删除了，此时该document还是可以被查询出的，但是返回结果的时候会根据commit point维护的.del文件将被删除的document过滤掉）

相关设置

  • index.refresh_interval：refresh刷新频率，默认1s一次，可以设置为-1为禁用
  • index.translog.durability：
    • request：同步刷盘（默认）
    • async：异步刷盘
  • index.translog.sync_interval：translog异步刷盘间隔时间；默认5s一次
  • index.translog.flush_threshold_size：当translog的大小达到此值时会进行一次flush操作。默认是512m
  • index.translog.flush_threshold_period：在指定的时间间隔内如果没有进行flush操作，会进行一次强制flush操作。默认是30分钟
  • index Buffer 大小设置：
    • indices.memory.index_buffer_size：接受百分比或字节大小值，默认为10%，意味着分配给node的总内存的10%用于索引缓冲区
    • indices.memory.min_index_buffer_size：如果将index_buffer_size设置为备份比，则可以用此设置指定绝对最小值，默认为48mb
    • indices.memory.max_index_buffer_size：如果将index_buffer_size设置为百分比，则可以用此设置指定绝对最小值，默认无限制
mdashElasticSearchstrongxffxff0c大数据

有关ElasticSearch——刷盘原理流程的更多相关文章

  1. ruby - Rails Elasticsearch 聚合 - 2

    不知何故，我似乎无法获得包含我的聚合的响应...使用curl它按预期工作:HBZUMB01$curl-XPOST"http://localhost:9200/contents/_search"-d'{"size":0,"aggs":{"sport_count":{"value_count":{"field":"dwid"}}}}'我收到回复:{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":90,"max_score":0.0,"hits":[]},"a

  2. elasticsearch源码关于TransportSearchAction【阶段三】 - 2

    1.回顾.TransportServicepublicclassTransportServiceextendsAbstractLifecycleComponentTransportService：方法：1publicfinalTextendsTransportResponse>voidsendRequest(finalTransport.Connectionconnection,finalStringaction,finalTransportRequestrequest,finalTransportRequestOptionsoptions,TransportResponseHandlerT>

  3. ruby-on-rails - 使用 Rails (Tire) 和 ElasticSearch 进行模糊字符串匹配 - 2

    我有一个Rails应用程序，现在设置了ElasticSearch和Tiregem以在模型上进行搜索，我想知道我应该如何设置我的应用程序以对模型中的某些索引进行模糊字符串匹配。我将我的模型设置为索引标题、描述等内容，但我想对其中一些进行模糊字符串匹配，但我不确定在何处进行此操作。如果您想发表评论，我将在下面包含我的代码!谢谢!在Controller中:defsearch@resource=Resource.search(params[:q],:page=>(params[:page]||1),:per_page=>15,load:true)end在模型中:classResource'Us

  4. 【Unity游戏破解】外挂原理分析 - 2

    文章目录认识unity打包目录结构游戏逆向流程Unity游戏攻击面可被攻击原因mono的打包建议方案锁血飞天无限金币攻击力翻倍以上统称内存挂透视自瞄压枪瞬移内购破解Unity游戏防御开发时注意数据安全接入第三方反作弊系统外挂检测思路狠人自爆实战查看目录结构用il2cppdumper例子2-森林whoishe后记认识unity打包目录结构dll一般很大，因为里面是所有的游戏功能编译成的二进制码游戏逆向流程开发人员代码被编译打包到GameAssembly.dll中使用il2ppDumper工具，并借助游戏名_Data\il2cpp_data\Metadata\global-metadata.dat

  5. 美团外卖搜索基于Elasticsearch的优化实践 - 2

    美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-BasedService（LBS）业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-LengthEncoding（RLE）设计了一款高效的倒排索引结构，使检索耗时（TP99）降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述，并给出最终灰度验证的结论。1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的C端场景，目前可参考的资料并不多。因此

  6. 【详解】Docker安装Elasticsearch7.16.1集群 - 2

    开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba，直接右键新建即可如上图所示依次类推创建

  7. 【Elasticsearch基础】Elasticsearch索引、文档以及映射操作详解 - 2

    文章目录概念索引相关操作创建索引更新副本查看索引删除索引索引的打开与关闭收缩索引索引别名查询索引别名文档相关操作新建文档查询文档更新文档删除文档映射相关操作查询文档映射创建静态映射创建索引并添加映射概念es中有三个概念要清楚，分别为索引、映射和文档（不用死记硬背，大概有个印象就可以）索引可理解为MySQL数据库；映射可理解为MySQL的表结构；文档可理解为MySQL表中的每行数据静态映射和动态映射上面已经介绍了，映射可理解为MySQL的表结构，在MySQL中，向表中插入数据是需要先创建表结构的；但在es中不必这样，可以直接插入文档，es可以根据插入的文档（数据），动态的创建映射（表结构），这就

  8. 等保工作流程和明细 - 2

    一、系统定级信息系统运营使用单位按照等级保护管理办法和定级指南，自主确定信息系统的安全保护等级。有上级主管部门的，应当经上级主管部门审批。跨省或全国统一联网运行的信息系统可以由其主管部门统一确定安全保护等级。定级需要根据信息系统的实际情况合理定级。二、系统备案第二级以上信息系统定级单位到所在地设区的市级以上公安机关办理备案手续。省级单位到省公安厅网安总队备案，各地市单位一般直接到市级网安支队备案，也有部分地市区县单位的定级备案资料是先交到区县公安网监大队的，具体根据各地市要求来。信息系统运营、使用单位或者其主管部门应当在信息系统安全保护等级确定后30日内，到公安机关办理备案手续。三、初次测评信

  9. ruby-on-rails - Elasticsearch 问题 : Cannot connect AWS elasticsearch service - 2

    我有一个关于配置elasticsearch以连接AWSelasticsearch服务以在生产环境中运行项目的问题。我的gem文件:gem'searchkick'gem'faraday_middleware-aws-signers-v4'gem'aws-sdk','~>2'gem"elasticsearch",">=1.0.15"引用:https://github.com/ankane/searchkick我的config/initializers/elasticsearch.rb文件:require"faraday_middleware/aws_signers_v4"ENV["ELAS

  10. 2023爱分析·流程中台市场厂商评估报告：微宏科技 - 2

     目录1. 研究范围定义2. 流程中台市场分析3. 厂商评估：微宏科技4. 入选证书 1.   研究范围定义近年来，随着外部市场环境快速变化、客户需求愈发多样，企业逐渐意识到，自身业务需要更加敏捷、高效，具备根据市场需求快速迭代的能力。业务流程的自动化能够帮助企业实现业务的敏捷高效，因此受到越来越多企业的关注。企业的“自动化武器库”品类丰富，包括低/零代码平台、RPA、BPM、AI等。企业可以使用多项自动化工具，但结果往往是各项自动化工具处于各自的“自动化烟囱”之中，仅能实现碎片式自动化。例如，某企业的IT团队可能在使用低代码平台、财务团队可能在使用RPA、呼叫中心则可能在使用聊天机器人。自动

随机推荐