背景：项目中业务数据量比较大，每类业务表都达到千万级别，虽然做了分库分表和读写分离，每张表数据控制在500W一下，但是效率还是达不到要求，为了提高查询效率，我们使用ES查询。而将mysql实时同步到es中保证数据一致性就成了我们的工作之下。环境：jdk1.8（依赖jdk环境，需要先安装这个）mysql5.7canal1.1.5（也有一个坑，多张表公用一个es索引，但是多表有字段同名的时候，你更新一个表的同名字段，es会把数据表同名的所有字段都更新，虽然你在es索引中的字段名称不一样，也会导致，cannl开发者修复了这个问题，但是并没有在1.1.5版本中更新，我们是自己下载源码手动改cannl才
一、ES支持的三种分页查询方式From+Size查询Scroll遍历查询SearchAfter查询说明：官方已经不再推荐采用ScrollAPI进行深度分页。如果遇到超过10000的深度分页，推荐采用search_after+PIT。官方文档地址二、分布式系统中的深度分页问题为什么分布式存储系统中对深度分页支持都不怎么友好呢？首先我们看一下分布式存储系统中分页查询的过程。假设在一个有4个主分片的索引中搜索，每页返回10条记录。当我们请求结果的第1页（结果从1到10），每一个分片产生前10的结果，并且返回给协调节点，协调节点对40个结果排序得到全部结果的前10个。当我们请求第99页（结果从990到
零样本参考图像分割Zero-shotReferringImageSegmentationwithGlobal-LocalContextFeatures论文笔记一、Abstract二、引言三、相关工作零样本迁移零样本密度预测任务参考图像分割四、方法4.1框架总览4.2Mask引导的全局-局部视觉特征全局上下文视觉特征局部上下文视觉特征全局-局部上下文视觉特征4.3全局-局部文本特征五、实施细节5.1全局-局部视觉编码器中的掩码ResNet中的掩码注意力池化ViT中的Token掩码六、实验6.1数据集和指标6.2Baselines6.3结果主要结果未知域上的零样本评估在少样本设置下与有监督方法的比
目录1、Es评估计划一个接口jmeter压测qps1万,logstash读取日志文件写入esLogstash配置Es容量变化前后差值/1万*1.67*（1+副本数）~=次接口es容量（日志数据30kb）影响es存储的主要原因通过kibana查看堆栈》索引》通过数据中的值/压测的数量=平均容量编辑服务器资源预估计算公式多级别预估2、Kafka评估计划基准测试创建test主题基准测试生产数据基准测试消费数据先用程序插入1万条当前业务数据使用如下命令查看主题占用大小容量计算规则参考es建议定期清理时间设置方案体量计算3、Mysql评估计划普遍上浮情况例子建议1、Es评估计划一个接口jmeter压测
目录一、前言二、Set1.Set数据结构定义2.Set数据结构的特性3.Set数据结构的基本使用4.Set遍历数据5.Set的使用场景6.WeakSet的使用7.垃圾回收机制三、Map1.Map数据结构定义2.Map数据结构的特性3.Map数据结构的基本使用 4.Map遍历数据5.Map的使用场景6.WeakMap的使用7.垃圾回收一、前言Set是一种叫做集合的数据结构，Map是一种叫做字典的数据结构什么是集合？什么又是字典？集合是由一堆无序的、相关联的，且不重复的内存结构【数学中称为元素】组成的组合字典是一些元素的集合。每个元素有一个称作key的域，不同元素的key各不相同区别？共同点：集合
应用背景现在有许多商品需要在商品列表中进行排序展示，排序要求使用ES并且尽量一次性查出来，有要求如下：重点商品，收藏商品，优质商品，普通商品的顺序展出在同一类商品发生冲突时，按照自主产品，非自主产品进行展出(是否自主产品是一个集合，只有集合里面有7才属于自主产品，没有7则属于非自主产品)如果继续发生冲突按照商品录入时间展出最后用id来进行兜底优质商品首先根据商品的等级来排序，然后才走第二行ES中使用到的字。id（商品的序列号）,create_time（创建商品时间）,one_hand_commodity（是否是优质商品）,commodity_level,（商品等级4个级别S,A,B,C）com
文章目录📋前言🎯Array.from()🎯Array.of()🎯Array.find()🎯Array.findIndex()🎯Array.includes()🎯Array.flat()🎯Array.flatMap()🎯Array.every()🎯Array.some()🎯Array.reduce()🎯Array.reduceRight()🎯Array.sort()🎯Array.reverse()🎯Array.fill()🎯Array.slice()🎯Array.splice()🎯Array.copyWithin()🎯Array.forEach()🎯Array.map()🎯Array.filte
【ES】分布式集群单节点集群故障转移水平扩容应对故障路由计算本文主要参考尚硅谷的资料，少部分自己原创，有错误之处请指出。单节点集群node-1001配置如下：#集群名称，节点之间要保持一致cluster.name:my-elasticsearch#节点名称，集群内要唯一node.name:node-1001#表示节点是否具有成为主节点的资格(此属性的值为true，并不意味着这个节点就是主节点)node.master:true#表示节点是否存储数据node.data:true#IP地址network.host:localhost#http端口http.port:1001#tcp监听端口(节点间通
目录一、前言二、Jestclient和Restclient使用2.1、Restclient方式三、Restclient方式3.1、基本操作3.2、联合查询一、前言ES有4种客户端，分别是：Jestclient、Restclient、Transportclient、Nodeclient。ES支持两种协议HTTP协议，支持的客户端有Jestclient和RestclientNativeElasticsearchbinary协议，也就是Transportclient【7.0弃用】和Nodeclient【2.3弃用】Jestclient非官方支持，在ES5.0之前官方提供的客户端只有Transport
概述当使用es分页查询的时候，如果查询的数据太靠后了，就会产生深度分页问题。假设es有3个节点，node1,node2,node3查询limti50000,50假设请求的是node1,此时会在每个节点上抓出50050条数据，然后在node1汇总排序，取出50条数据。此时就发生了深度分页问题。es在2.0之后有个配置参数max_result_window限制了深度分页最大是10000。search_after查询查询的是实时的数据，但是每次查询需要带上上一次查询的最后一个sort值。并且需要文档中有一个字段保存唯一值，一般就用uuid来填充了。所以在查询的时候需要一页一页的查询下去，因为需要拿到
