草庐IT

es6-features

全部标签

ES module和Common JS的区别

ESmodule和CommonJS是两种不同的模块系统,它们有一些区别如下:语法:ESmodule使用 import 和 export 关键字来导入和导出模块,而CommonJS使用 require 和 module.exports 来导入和导出模块。动态导入:ESmodule支持动态导入,也就是在代码运行时根据需要导入模块。而CommonJS不支持动态导入。作用域:ESmodule的模块作用域是静态的,在模块中定义的变量和函数不会污染全局作用域。而CommonJS的模块作用域是动态的,模块中定义的变量和函数会被添加到全局作用域中。异步加载:ESmodule可以异步加载模块,以提高性能和减少启

通过linux定时任务删除es日志索引

能过linux定时任务删除es日志索引项目用上了elk,产生的日志索引要定时,其一个方法,通过linux定时任务,调用es接口删除索引。#!/bin/bash#删除ELK30天前的日志#计算索引名称包含的日期,比如这里是%Y.%m.%d(2023.07.04)DATE=`date-d"30daysago"+%Y.%m.%d`#查询所有索引,根据索引名称创建的特性,业务编码+日期,匹配要删除的索引curl-s-XGEThttp://127.0.0.1:9200/_cat/indices?v|grep$DATE|awk-F'[]+''{print$3}'>/tmp/elk.log#调用接口删除fo

Java ES 滚动查询

滚动查询(ScrollQuery)是Elasticsearch提供的一种机制,用于处理大量数据的查询。它允许你在多个请求之间保持“游标”,以便在后续请求中获取更多的结果。以下是滚动查询的基本工作原理:1初始查询:客户端发送一个查询请求给Elasticsearch,并指定一个滚动时间(scrolltime)。2首次返回结果:Elasticsearch会处理这个查询请求,并将结果返回给客户端。除了返回查询结果之外,还会返回一个特殊的“滚动ID”(scrollID)。3保持连接:客户端将这个滚动ID保存下来,以便在后续请求中使用。4后续查询:在滚动时间内,客户端可以使用保存的滚动ID来获取更多的结果

Windows下面安装es闪退如何解决?

记录以下Windows下面安装es,双击elasticsearch.bat,出现闪退的问题。首先去官网下载安装包:ES官网我安装的版本:解压,进入bin目录,双击elasticsearch.bat,发现闪退。。。。。首先我cmd先进入这个目录,执行elasticsearch这个时候发现导致闪退的原因。UnrecognizedVMoption'UseConcMarkSweepGC'Error:CouldnotcreatetheJavaVirtualMachine.Error:Afatalexceptionhasoccurred.Programwillexit.然后进入config目录下,修改jv

E往无前 | 腾讯云大数据ES日志轻接入和免运维最佳实践

导语日志的采集、检索和分析是每个业务在架构设计上都需要考虑的重要一环,同时也是痛点较多、人力成本较高的一环。如何降低日志接入和后续运维成本,腾讯云大数据ES告诉你答案。日志的采集、检索和分析是每个业务在架构设计上都需要考虑的重要一环,同时也是痛点较多、人力成本较高的一环。本文将从日志的生命周期开始,分析业界最成熟的ELKB解决方案在接入时和接入后的痛点,并通过在腾讯云大数据ES上接入日志和运维索引的体验,分享腾讯云大数据ES是如何解决这些痛点,来降低日志接入和运维成本,让业务能专注于日志数据价值的挖掘。一、日志的生命周期通常情况下,日志的整个生命周期可以分为:日志生成、日志采集、日志处理、日志

帆软报表 FineReport连接时序库 Elasticsearch(es),tdengine(涛思)

这篇文章是本人在开发帆软报表所经历的踩坑以及解决的方案,回想起来由于网上没有太多的相关信息,在fr社区提问也没有太好的解决方案,解决起来也蛮坎坷的,但最后还是搞了下来,顺便整理一下发布出来,希望能给小伙伴们点帮助,如要参考请全篇看完,有注意事项,如出问题,概不负责。1.帆软报表连接es数据库    一.插件安装    1).在插件管理里面输入es,会搜索到elasticsearch的插件    2).点击安装按钮    3).在我的插件那显示这个插件就代表安装成功了                二.进行数据连接配置    1).点击加号会给出相应的es连接方式,然后进行点击    2).自行

ES聚合查询 基于RestHighLevelClient依赖 Java操作

一、介绍(偏自我理解)    1.ES聚合查询通用流程        1.分组(好比Mysql--->groupby)        2.组内聚合也叫组内指标(好比Mysql--->SUM()、COUNT()、AVG()、MAX()、MIN())    2.桶(我要是es开发者,我起名叫啥都行)        1.满足特定条件的文档的集合,叫做桶。                   桶的就是一组数据的集合,对数据分组后,得到一组组的数据,就是一个个的桶提示:桶等同于组,分桶和分组是一个意思,ES使用桶代表一组相同特征的数据。    3.指标        1.指标指的是对文档进行统计计算方式

使用docker安装es集群

本文主要记录的是docker搭建es集群的过程,总体参考的是https://blog.csdn.net/frrree/article/details/120453668这篇博客,但是完全参考这篇博客是行不通的,所以想着自己也在学习es,所以就将搭建过程记录下来。不过还是感谢那位博主的,整体的安装过程也和那边博客差不多。只是其中的配置文件和创建目录等方面可能不太一致。不过如果完全按照那边博客来安装,可能无法使用一、环境准备首先我这边使用的vmware15搭建的centos7版本的linux虚拟机,安装的docker的版本是Dockerversion19.03.13,build4484c46d9d

ES 索引mapping之keyword;term查询添加keyword查询;更改mapping keyword类型

参考:https://blog.csdn.net/winterking3/article/details/108254346https://www.cnblogs.com/shoufeng/p/11103913.htmlhttps://blog.csdn.net/tclzsn7456/article/details/799566251、ESmapping之字符串keyword6.0后字符串不用string;改成text和keyword两种了,keyword是默认不分词,text是要分词默认mapping结构一般是:如果不设置mapping,ES默认把字符串设为text类型,并包含一个keywo

ES 写入瓶颈需要进行压测,才能确定实际是否达到瓶颈

筛查分析普及:JMQ默认生产者发送消息QPS受到主题的broker数量影响,(8w/s)/broker3.2.1MQ积压分析1)分析原因一、ES写入量大,导致ES写入QPS瓶颈ES写入瓶颈需要进行压测,才能确定实际是否达到瓶颈;通过查询集群负载,写入队列有无积压,cpu高不高,来定位以下为调整MQ批量消费大小后的ES监控写入队列无积压,CPU不高,写入QPS没有达到瓶颈2)分析原因二、ES写入慢导致消费积压ES解析服务解析慢,瓶颈在ES解析处根据当前系统CPU、负载信息定位是否服务器性能满负荷,是否扩容无报警信息,整体运行平稳,基本排除业务资源达到瓶颈问题引起写入慢MQ消费端消费慢,瓶颈在消费