基于之前的文章，精简操作而来让ELK在同一个docker网络下通过名字直接访问Ubuntu服务器ELK部署与实践使用Docker部署canal服务实现MySQL和ES实时同步Docker部署ES服务，canal全量同步的时候内存爆炸，ES/CanalAdapter自动关闭，CPU100%1.拉镜像dockerpullelasticsearch:7.8.0dockerpullkibana:7.8.0dockerpullcanal/canal-server:v1.1.4dockerpullslpcat/canal-adapter:v1.1.5-jdk8dockerpullmysql:5.72.my
缘起疫情，不少孩子封控在家，需要上网课，但是老是抑制不住地去打游戏或看视频。朋友圈里面，某位技术大牛这么描述疫情封控期间，他与孩子的居家“战争”：孩子上网课已经一个多月了，孩子因为爱玩游戏爱看B站，与我斗智斗勇好几回，目前战斗情况如下：上课时间玩手机游戏~没收手机在电脑上装手机模拟器继续玩手机游戏~卸载模拟器在电脑上看B站~设置host文件屏蔽B站域名在电脑上看芒果TV~继续设置屏蔽域名继续安装手机模拟器、找到host文件删除屏蔽，看B站玩游戏~被打，被卸载各种软件，被警告再发现就换Linux操作系统解封后，先买个企业级路由器管控起来…或者再装个摄像头再加上AI人体姿态识别？😭因本文是技术文章
安装ik分词器在elasticsearch安装目录下，找到plugins，在其中新建一个名为ik的目录，将ik下载解压在这个目录当中。github连接：https://github.com/medcl/elasticsearch-analysis-ik/releases注意：ik的版本需要和elasticsearch的版本相同解压后目录结构如下使用ik分词器安装完成后，可以通过POST请求对分词功能进行测试。请求地址为：http://es服务开启的位置/_analyze请求体：{"analyzer":"ik_max_word","text":"new_dataset01"} 请求体中，anal
目录PromiseClass类extendssuperModules模块系统exportdefault和对应importexport和importPromisePromise是ES6引入的一种用于处理异步操作的对象。它解决了传统回调函数（callback）模式中容易出现的回调地狱和代码可读性差的问题。Promise对象有三种状态：Pending（进行中）:初始化状态，表示异步操作还在进行中。Fulfilled（已成功）:表示异步操作执行成功，并且返回了一个值。Rejected（已失败）:表示异步操作执行失败，抛出一个错误或异常。Promise对象具有以下特点：Promise构造函数接收一个执行
Docker下Jaeger部署文档近来在学习到Jaeger链路追踪的时候，顺带学习了一下如何去部署Jaeger在服务器上关于JaegerJaeger受到Dapper和OpenZipkin的启发，是由UberTechnologies作为开源发布的分布式跟踪系统。它用于监控和故障排除基于微服务的分布式系统，包括：分布式上下文传播分布式事务监控根本原因分析服务依赖分析性能/延迟优化技术规格Go中实现的后端组件React/Javascript用户界面支持的存储后端：Cassandra3.4+Elasticsearch5.x,6.x,7.xKafka内存存储经过认证的grpc插件：带有Promscale
在ES的倒排索引机制中有四个重要的名词：Term、TermDictionary、TermIndex、PostingList。Term（词条）：词条是索引里面最小的存储和查询单元。一段文本经过分析器分析以后就会输出一串词条。一般来说英文语境中词条是一个单词，中文语境中一个词条是分词后的一个词组。此处涉及到分词器，分词器的作用是将一段文字分解为若干个词组，不同的分词器使用的分词算法不同，得到的分词结果也不同。TermDictionary（词典）：词典是词条的集合，顾名思义，词典中维护的是Term。词典一般是由文本集合中出现过的所有词条所组成的集合。TermIndex（词条索引）：由于词典中维护着文
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口操作ES，也可以利用JavaAPI。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。1.概念以及特点1、Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用RestfulAPI标准的可
前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。// 背景 //ES通过索引（Index）对外提供数据检索能力，索引是用于组织和存储数据的逻辑单元。每个索引由若干个分片（shard）组成，每个分片就是一个Lucene索引，可以在不同的节点上进行分布式存储和并行处理，提高性能和可伸缩性。每个分片由一组段文件（segment）组成，段是分片中更小的存储和搜索单元，是一组物理
对一个字符串类型的字段进行排序通常不准确，因为已经被分词成多个词条了字段虽然是字符串,但是其实值是整数,排序按照字符串转成整数排序解决方式：对字段索引两次，一次索引分词（用于搜索），一次索引不分词（用于排序）PUTprojecy_zcy{"settings":{"refresh_interval":"1s","number_of_shards":1,"number_of_replicas":1},"mappings":{"properties":{"id":{"type":"text","fields":{"keyword":{"type":"keyword"----不分词},"keylong
ElasticsearchMaster节点的职责由主节点负责ping所有其他节点，判断是否有节点已经挂掉创建或删除索引决定分片在节点之间的分配稳定的主节点对集群的健康是非常重要的。虽然主节点也可以协调节点，路由搜索和从客户端新增数据到数据节点，但最好不要使用这些专用的主节点。一个重要的原则是，尽可能做尽量少的工作。对于大型的生产集群来说，推荐使用一个专门的主节点来控制集群，该节点将不处理任何用户请求。协调节点（CoordinatorNode）：该节点只处理路由请求，处理搜索，分发索引文件，相当于一个只能的负载均衡器，协调节点将请求分发给存储数据的DataNode。每个DataNode在本地执行
